El equipo Siri de Apple, dirigido por Craig Federighi, celebró esta tarde una charla técnica magistral posterior a la WWDC con miembros de la prensa para hablar sobre iOS 27 y la nueva IA de Siri.
Durante la charla, Federighi compartió más detalles sobre la colaboración de Apple con Google.
A Federighi se unieron Amar Subramanya (vicepresidente de IA), Mike Rockwell (líder de la serie) y Sebastien Marino-Mess (vicepresidente de software).
En colaboración con Google, Federighi explicó:
Por supuesto, no tenemos aplicaciones Gemini como aplicaciones. De hecho, nada de ese código de cliente forma parte de cómo ejecutamos iOS. Para estos modelos, no utilizamos ninguno de los modelos que Google implementa para sus clientes, ni utilizamos la infraestructura y los medios mediante los cuales ellos implementan los modelos para sus clientes. Y luego, cuando se trata de la base de conocimientos, ciertamente no utilizamos la Búsqueda de Google ni nada por el estilo como base de nuestro sistema. Así que espero que se aclare. Nada de la cantidad de Asistente de Google que utilizamos.
Entonces, hablemos de lo que usamos o cómo está construido nuestro sistema.
Por supuesto, esto comienza con la experiencia de nuestros asistentes. Y como vio hoy, esta experiencia del Asistente está profundamente integrada en el sistema, en iOS, en iPadOS, en macOS. En el iPhone ves cómo aparece el asistente, creo que muy bonito, en el cristal líquido fuera de la isla dinámica, cómo puedes llamarlo desde el botón lateral o hablando con Siri por su nombre. Pero más que eso, está integrado en todo tipo de lugares del sistema. Entonces, ya sea que esté escribiendo con la herramienta de escritura o haciendo clic en el menú contextual, todo está profundamente integrado en la experiencia del sistema.
Ahora, Siri está conectada a la aplicación. Es una excelente manera de volver a una conversación que inició anteriormente, ya sea para ver qué estaba haciendo antes, tal vez para extender esa conversación o iniciar una nueva. Pero esta aplicación simplemente no llega a algunos modelos de la nube. Está construido sobre el potente software del sistema de Apple Intelligence.
Esto incluye System Orchestrator, que es la clave de toda la arquitectura de privacidad de nuestro sistema. Coordina las solicitudes con cosas como App Toolbox que brinda acceso a acciones dentro de sus aplicaciones, índices semánticos de Spotlight para acceder a contenido personal para ayudar a cumplir con sus solicitudes e incluso cosas como el contexto en pantalla para comprender lo que está viendo en el momento de realizar una solicitud.
Esto, a su vez, se basa en un conjunto de potentes modelos integrados en el dispositivo. Se encargan de todo, desde comprender el habla, sintetizar la voz que te habla, comprender visualmente el entorno y el contexto en pantalla, comprender si hay algo relevante allí, comprender el texto que podría estar en la pantalla y un conjunto completo de otros modelos.
Y para algunas solicitudes, los modelos pueden procesar sus solicitudes de Siri completamente localmente en el dispositivo. Pero a veces el orquestador del sistema se da cuenta de que es una cuestión más sofisticada y entonces quiere recurrir a mayor inteligencia. Lo hace comunicándose con nuestros modelos que se ejecutan en computación en la nube privada.
La computación en la nube privada tiene como objetivo extender la misma promesa de privacidad del iPhone a la nube, de modo que sus solicitudes sean completamente privadas para usted. Nunca se almacenan, nadie puede acceder a ellos, incluido Apple, solo se procesan como parte de la solicitud y nada puede acceder a ellos. Todas estas características no sólo están integradas arquitectónicamente en lo profundo del sistema, sino que son algo que investigadores externos pueden verificar continuamente.
Ahora, en ese modelo de implementación, tenemos una familia (nuestra tercera generación) de modelos Apple Foundation, desde nuestros modelos AFM Cloud y AFM Cloud Pro hasta nuestros modelos AFM Fusion y Image. Estos modelos son productos de nuestra colaboración con Google y aprenderá más sobre ellos a medida que avancemos. Pero esos son los arquitectos que ejecutarán nuestra arquitectura de implementación. Estos son modelos diseñados específicamente para nuestra experiencia Apple Intelligence. Lo que viste en la presentación principal de hoy impulsó todo eso.
Finalmente, cuando realiza una solicitud que involucra eventos actuales u otros elementos de conocimiento mundial, esas respuestas se basan en el acceso al servicio de conocimiento mundial de Apple. Esto es algo que hemos desarrollado durante muchos años y proporciona una gran fuente de información para satisfacer sus solicitudes.
Por lo tanto, este sistema admite toda la gama de experiencias de Apple Intelligence que haya visto antes. Espero que esa sea también la base de nuestro debate. Y lo que queremos hacer ahora es sacar a relucir a los miembros del equipo de liderazgo que ayudaron a que todo esto funcionara.
Subramanya elaboró:
Estamos muy entusiasmados con nuestra tercera generación del Apple Foundation Model, o AFM, en asociación con Google. Hemos desarrollado una familia de modelos que abarcan dispositivos en la nube. Ahora, antes de entrar en los títulos de cada modelo de la familia, diré que cada modelo de esta generación es notable tanto en calidad como en capacidad en comparación con nuestra generación anterior.
Simplemente repasando cada modelo, comenzaremos con los modelos de nuestros dispositivos. En primer lugar, tenemos el núcleo AFM. Esta es la próxima generación de nuestro modelo en el dispositivo que ofrecemos en los dispositivos hoy. Sigue una arquitectura densa.
Y luego, hemos desarrollado el núcleo AFM.
No se parece a ningún modelo de dispositivo que hayamos ejecutado antes. Utiliza una arquitectura dispersa, que es localmente multimodal. Y como resultado, este modelo tiene un gran salto en capacidades, permitiendo que algunas de las características de las que escuchó esta mañana, como la invocación y la voz expresiva, funcionen completamente en el dispositivo resultante.
Pasando a nuestro modelo de servidor, todo el cual se sirve desde nuestra computación en la nube privada. En primer lugar, tenemos AFM Cloud. Este es el modelo de trabajo duro de nuestro servidor. Está optimizado principalmente para la latencia y el costo de servicio.
Y luego, tenemos la imagen de la nube AFM. Permite muchas experiencias increíbles, incluidas cosas como nuestro modelo de edición y generación de imágenes de próxima generación y, ya sabes, el reencuadre espacial, del que también escuchaste esta mañana.
Y los cuatro modelos de los que acabamos de hablar, FM, Core, Core Advanced Cloud y Cloud Image, son compilaciones personalizadas para Apple Silicon, entrenadas con datos patentados y refinadas utilizando el exterior de los modelos Gemini Frontier.
Ahora, finalmente, para algunas de las tareas más exigentes, como el uso de herramientas agentes y el razonamiento complejo, tenemos AFM Cloud Pro. Es nuestro modelo más capaz con la misma calidad que el modelo Gemini Frontier.
Y para llevar este modelo a producción, trabajamos con Google y Nvidia para extender nuestra infraestructura informática de nube privada a las GPU NVIDIA en la nube de Google, manteniendo al mismo tiempo las inigualables garantías de privacidad de Apple, ¿verdad?
Entonces, en esta familia de modelos, nuestro objetivo es hacer coincidir cada solicitud de usuario con el modelo que brinde la mejor respuesta con la menor latencia. Por eso, juntos estamos muy entusiasmados con este modelo de próxima generación y las increíbles funciones que nos permite desarrollar sobre ellos, incluida la nueva experiencia Siri AI y todas las increíbles experiencias inteligentes en todo el sistema operativo.
Más por venir…
Elección de oportunidad:
Seguir oportunidad: hilo, cielo azul, InstagramY Mastodonte.
