Home Técnica Olvídate de los chatbots. El verdadero potencial de la IA es barato,...

Olvídate de los chatbots. El verdadero potencial de la IA es barato, rápido y está en tu dispositivo

20

Cuando toco la aplicación de Anthropic claudio ai en mi teléfono y le doy una indicación, por ejemplo, “cuenta una historia sobre un gato travieso”, suceden muchas cosas antes de que el resultado (“El gran atraco al atún”) aparezca en mi pantalla.

Mi solicitud se envía a la nube: una computadora Gran centro de datos En algún lugar: el Soneto de Claude llegará hasta el 4,5 Grandes modelos de lenguaje. El modelo utiliza texto predictivo avanzado para generar una respuesta plausible, basándose en la gran cantidad de datos con los que ha sido entrenado. Luego, esos comentarios se envían de regreso a mi iPhone y aparecen en mi pantalla en palabras, línea por línea. Está en mi pequeño teléfono y ha viajado cientos, miles de millas y pasado por varias computadoras en su viaje. Y todo sucede en segundos.

Este sistema funciona bien si lo que estás haciendo es de bajo riesgo y la velocidad no es realmente un problema. Puedo esperar unos segundos por mi cuento sobre Bigotes y sus aventuras en el mueble de la cocina. Pero no todas las tareas de la inteligencia artificial son así. Algunos requieren una velocidad tremenda. Si un dispositivo de inteligencia artificial va a alertar a alguien sobre un objeto que bloquea su camino, no puede esperar uno o dos segundos.

Otras solicitudes requieren más privacidad. No me importa si la historia del gato pasa por docenas de computadoras propiedad de personas y empresas que no conozco y en las que no confío. Pero ¿qué pasa con mi información de salud o mi información financiera? Yo pondría un estricto control sobre eso.


No se pierda nuestro contenido tecnológico imparcial y reseñas basadas en laboratorio. Añadir CNET Como fuente preferida de Google.


La velocidad y la privacidad son dos de las razones principales por las que los desarrolladores de tecnología están trasladando cada vez más el procesamiento de IA de los grandes centros de datos corporativos a dispositivos personales como su teléfono, computadora portátil o reloj inteligente. También hay ahorro de costos: no es necesario pagarle a un gran operador de centro de datos. Además, los modelos integrados en el dispositivo pueden funcionar sin conexión a Internet.

Pero hacer posible esta transición requiere un mejor hardware y modelos de IA más eficientes, a menudo más especializados. La combinación de esos dos factores determinará en última instancia qué tan rápida y fluida será su experiencia en un dispositivo como su teléfono.

Arte de la insignia CNET AI Atlas; Haga clic para ver más

CNET

Mahadev Satyanarayanan, conocido como Satya, es profesor de informática en la Universidad Carnegie Mellon. Durante mucho tiempo ha investigado lo que se conoce como Edge Computing: el concepto de gestionar el procesamiento y almacenamiento de datos lo más cerca posible del usuario real. Dice que el modelo ideal para una verdadera informática de punta es el cerebro humano, que no relega tareas como la visión, el reconocimiento, el habla o la inteligencia a la “nube”. Sucede ahí mismo, completamente “en el dispositivo”.

“Aquí está el truco: a la naturaleza le tomó mil millones de años evolucionar”, me dijo. “No tenemos mil millones de años para esperar. Estamos tratando de hacerlo en cinco o diez años como máximo. ¿Cómo vamos a acelerar la evolución?”

Lo acelera con un hardware mejor, más rápido y más pequeño con una IA mejor, más rápida y más pequeña. Y como ya estamos viendo con las últimas aplicaciones y dispositivos, incluidos los que se esperan en CES 2026, ya va por buen camino.

Probablemente la IA esté ejecutándose en tu teléfono ahora mismo

La IA en el dispositivo está lejos de ser novedosa. ¿Recuerdas en 2017 cuando pudiste desbloquear tu iPhone por primera vez sosteniéndolo frente a tu cara? Esa tecnología de reconocimiento facial utilizaba un motor neuronal en el dispositivo, no Zen AI como Cloud o ChatGPT, sino inteligencia artificial básica.

Los iPhones actuales utilizan modelos de IA en el dispositivo mucho más potentes y versátiles. Contiene alrededor de 3 mil millones de parámetros: cálculos individuales de pesos dados a las probabilidades en un modelo de lenguaje. Es relativamente pequeño en comparación con los grandes modelos de uso general que impulsan la mayoría de los chatbots de IA. Dipsic-R1, por ejemplo, tiene 671 mil millones de parámetros. Pero no todo está por hacer. En cambio, está diseñado para tareas específicas en el dispositivo, como resumir mensajes. Al igual que la tecnología de reconocimiento facial para desbloquear su teléfono, es algo que no puede depender de una conexión a Internet para ejecutar un modelo en la nube.

Apple ha ampliado sus capacidades de inteligencia artificial en el dispositivo, denominada Apple Intelligence, para incluir funciones de reconocimiento visual, como permitirle ver capturas de pantalla de las cosas que ha tomado.

Los modelos de IA en dispositivos están en todas partes. Los teléfonos Pixel de Google ejecutan el modelo Gemini Nano personalizado de la compañía Chip tensor G5. Este modelo incluye funciones como Magic Q, que revela información de tus correos electrónicos, mensajes y más, cuando lo necesitas, sin que tengas que buscar manualmente.

Los desarrolladores de teléfonos, computadoras portátiles, tabletas y el hardware intermedio están creando dispositivos teniendo en cuenta la IA. Pero los supera. ¿Piensa en los relojes y gafas inteligentes, que ofrecen un espacio mucho más limitado que incluso los teléfonos finos?

“Los desafíos del sistema son muy diferentes”, afirmó Vinesh Sukumar, jefe de IA generativa y aprendizaje automático de Qualcomm. “¿Puedo hacer esto en todos los dispositivos?”

En este momento, la respuesta suele ser no. La solución es bastante sencilla. Cuando una solicitud excede la capacidad del modelo, descarga la tarea a un modelo basado en la nube. Pero dependiendo de cómo se maneje esa transferencia, podría socavar uno de los beneficios clave de la IA en los dispositivos: mantener sus datos completamente en sus manos.

Una IA más privada y segura

Los expertos citan repetidamente la privacidad y la seguridad como beneficios clave de la IA en el dispositivo. En un escenario de nube, los datos vuelan en todas direcciones y enfrentan más momentos de vulnerabilidad. Si permanecen en un teléfono cifrado o en una unidad de computadora portátil, es mucho más fácil de proteger.

Los datos empleados por los modelos de IA de su dispositivo pueden incluir cosas como sus preferencias, historial de navegación o información de ubicación. Si bien todo esto es esencial para que la IA personalice su experiencia según sus preferencias, también es información que no desea que caiga en las manos equivocadas.

“Lo que estamos presionando para hacer es asegurarnos de que el usuario tenga acceso y sea el único propietario de esos datos”, dijo Sukumar.

La mano de una persona sosteniendo un iPhone.

Apple Intelligence le ha dado a Siri una nueva apariencia en el iPhone.

Difusión Numi/CNET

Hay algunas formas diferentes de descargar información para proteger su privacidad. Un punto clave es que hay que permitir que esto suceda. Sukumar dijo que el objetivo de Qualcomm es informar a las personas y garantizar la capacidad de decir no cuando un modelo llega al punto de descargarse a la nube.

Otro enfoque, que puede funcionar junto con la exigencia de permisos de usuario, es garantizar que todos los datos enviados a la nube se manejen de forma segura, concisa y temporal. Apple, por ejemplo, utiliza la llamada tecnología. Computación en la nube privada. Los datos descargados se procesan únicamente en los propios servidores de Apple, solo se envían los datos mínimos necesarios para la tarea y ninguno de ellos se almacena ni se hace accesible a Apple.

IA sin el coste de la IA

Los modelos de IA en el dispositivo brindan una ventaja tanto a los desarrolladores de aplicaciones como a los usuarios, ya que los costos de funcionamiento son esencialmente nulos. No existe ninguna empresa de servicios en la nube que pague por la energía y la potencia informática. Está todo en tu teléfono. Tu bolsillo es el centro de datos.

Esto es lo que atrajo a Charlie Chapman, desarrollador de una aplicación de máquina de palabras. Ruido oscuroUtilizar el marco Foundation Model de Apple para una herramienta que le permite crear mezclas de sonido. El modelo de IA en el dispositivo no crea audio nuevo, simplemente selecciona diferentes sonidos y niveles de volumen existentes para crear una mezcla.

Dado que la IA se ejecuta en el dispositivo, no hay costos de funcionamiento mientras creas tus mezclas. Para un pequeño desarrollador como Chapman, esto significa menos riesgo asociado con la escala de la base de usuarios de su aplicación. “Si algún influencer al azar publica sobre esto y consigo una increíble cantidad de usuarios gratuitos, eso no significa que de repente voy a ir a la quiebra”, dijo Chapman.

Leer más: La IA es esencial: 29 formas en las que puedes poner la IA Zen a trabajar para ti, según nuestros expertos

La falta de costos de funcionamiento de la IA en el dispositivo permite automatizar tareas pequeñas y repetitivas, como la entrada de datos, sin grandes costos ni contratos informáticos, dijo Chapman. La desventaja es que los modelos de dispositivos difieren de un dispositivo a otro, por lo que los desarrolladores tienen que trabajar más para asegurarse de que sus aplicaciones funcionen en hardware diferente.

Cuantas más tareas de IA se manejen en dispositivos de consumo, menos tendrán que gastar las empresas de IA en la construcción de centros de datos masivos donde todas las grandes empresas de tecnología luchan por conseguir dinero en efectivo y chips de computadora. “Los costos de infraestructura son enormes”, dijo Sukumar. “Si realmente quieres impulsar la escala, no querrás incurrir en esa carga de costos”.

El futuro es cuestión de velocidad

Especialmente cuando se trata de funciones en dispositivos como gafas, relojes y teléfonos, la utilidad real de la IA y el aprendizaje automático no es la misma que la del chatbot que creé al principio de este artículo. Se trata de cosas como el reconocimiento de objetos, la navegación y la traducción. Estos requieren modelos y hardware más especializados, pero también requieren más velocidad.

Satya, profesor de Carnegie Mellon, está investigando diversos usos de los modelos de IA y si pueden funcionar con precisión y rapidez utilizando modelos en el dispositivo. Cuando se trata de clasificación de imágenes de objetos, la tecnología actual funciona bastante bien: es capaz de ofrecer resultados precisos en 100 milisegundos. “Hace cinco años, no podíamos conseguir este tipo de precisión y velocidad en ninguna parte”, afirmó.

Las imágenes de las gafas Oakley Meta Vanguard AI muestran un paisaje superpuesto con estadísticas de Garmin

Esta captura de pantalla recortada de un video capturado con las gafas Oakley Meta Vanguard AI muestra métricas de entrenamiento extraídas de un reloj Garmin.

Vanessa Mano Orellana/CNET

Pero para las otras cuatro tareas (detección de objetos, segmentación instantánea (la capacidad de reconocer objetos y su forma), reconocimiento de actividad y seguimiento de objetos) los dispositivos aún tienen que descargarse a computadoras más potentes en otros lugares.

“Creo que los próximos años, cinco años más o menos, serán muy emocionantes a medida que los proveedores de hardware sigan intentando adaptar mejor los dispositivos móviles a la IA”, afirmó Satya. “Al mismo tiempo, también tenemos algoritmos de IA que son cada vez más potentes, más precisos y más intensivos en términos de computación”.

Las oportunidades son inmensas. En el futuro, dice Satya, los dispositivos pueden usar visión por computadora para advertirle antes de viajar con pagos desiguales o para recordarle con quién está hablando y brindar contexto a sus interacciones pasadas con ellos. Este tipo de cosas requerirán una IA y un hardware más especializados.

“Van a crecer”, dijo Satya. “Podemos verlos en el horizonte, pero aún no están aquí”.

Enlace fuente