En mi oficina hay estanterías donde guardo mis trucos de magia. Junto a ellos hay ventanas panorámicas que dan a París, aunque en realidad no. Estas son superposiciones de realidad mixta que me saludan cuando las uso. Visión Pro de Apple auricular, asignado a mi ventana original. Un reloj virtual cuelga de la pared.
Las estanterías son reales; Ni las ventanas ni los relojes de pared de París. Pero Siri, a quien llamo un orbe brillante frente a mí, los ve todos. Cuando pregunto qué hay frente a mí, el cuadro de texto de Siri lo describe todo.
Mi primer pequeño momento usando Vision Pro y una prueba Ver todo Siri AI En su vista previa para desarrolladores VisiónOS 27 Sorprendente pero demasiado familiar. He tenido momentos como este Galaxy XR de Samsung El auricular, que ya tiene un modo Gemini Live que reconoce tu habitación y aplicaciones virtuales y ventanas abiertas, yo también lo hice Usando gafas muy inteligentes Donde le pedí a una IA con cámara que me contara sobre el mundo en el que deambulé.
Como esperabaApple tiene uno El nuevo Siri sobrealimentado Al llegar a dispositivos que van desde relojes hasta iPhones y iPads este otoño, está ampliando sus capacidades de inteligencia visual más allá del iPhone. Sin embargo, Siri de Vision Pro es el más interesante y quizás el más ambicioso. Puede ver todo lo que se encuentra en su campo de visión cuando se lo ordena, como un compañero sensible.
No todo es perfecto en esta versión preliminar, lanzada hace apenas unos días. WWDC de ApplePero ya hace un buen trabajo al mostrar lo que podría venir después. Sí, las gafas que pueden hacer esto parecen completamente posibles ahora. Mientras tanto, las funciones auxiliares del Vision Pro también serán bastante interesantes.
Siri conoce mi estantería, mi ventana virtual de París y mi reloj virtual.
La órbita luminosa de Siri está lista para ser vista
a diferencia de Inteligencia Visual En el modo iOS y iPadOS, que se inicia a través de la aplicación Cámara, Siri de Vision Pro puede ver cosas cuando simplemente dices “Hola, Siri” y haces una pregunta.
Siri aparece como una esfera brillante en 3D, como un espíritu que se manifiesta en mi habitación. Puedes arrastrarlo a cualquier lugar, pero el efecto de luz de mármol brillante en mi escritorio o habitación usando el motor de gráficos espaciales de VisionOS es agradable de ver.
Pude decir: “Oye, Siri, ¿qué hay delante de mí?” Y activó la inteligencia visual, creando un chirrido con un nuevo sonido y luego usando el seguimiento ocular para realizar un escaneo visual rápido alrededor del área que mis ojos estaban mirando. Arrojó una amplia red: podía ver mi estantería llena de libros frente a mí y todas las pequeñas figuras de acción y juguetes que guardaba allí. Me leyó algunos títulos de libros, como Uzumaki y Wonderbook.
La retroalimentación de la IA llega después de que la cámara captura una imagen fija de lo que está frente a mí, real o virtual. Es similar a la cadencia de reacción rápida de otras IA basadas en cámaras en las especificaciones del Meta o del Galaxy XR de Samsung.
Pero no tiene modo en vivo como gafas y auriculares. Es un asunto de una instantánea por solicitud.
Siri reconoce Mi estantería desordenada. El orbe de Siri también brilla cerca de objetos del mundo real y puede pellizcarse y arrastrarse.
Reconocimiento real y virtual
En mi escritorio, Siri pudo ver un casco de realidad virtual rojo (chico virtual) y un Cubierta de vaporAmbos son reales. Luego, intenté mirar mi ventana virtual de París y mi estantería llena de magia y widgets de relojes de pared y también los reconoció.
En esta versión beta inicial, Siri tendía a quedarse atascado en una escena particular por un tiempo y analizaba esa captura a menos que apagara Siri o moviera la órbita para volver a intentarlo. O supongo que me estoy acostumbrando.
Pero ya estoy pensando en cómo puedo utilizar esta conciencia visual para gestionar las tareas más rápido. Le pedí a Siri que resumiera una aplicación de notas sobre mi dramaturgia reciente, que abrí sin preguntar (resume puntos clave) y le pregunté sobre las ventanas del navegador abiertas en mi MacBook a través de la pantalla virtual. (Eso me dice ahora mismo, mientras trabajo en esta historia en Vision Pro en mi Mac, tengo una ventana de Google Doc abierta donde escribo sobre Siri detectando objetos reales y virtuales).
Tengo curiosidad por saber qué pensó Siri de mi Virtual Boy y Steam Deck.
Convertir mis propias fotos en fondos panorámicos en 3D
También probé el nuevo efecto Conversión de fotos panorámicas en VisionOS 27, que te permite convertir cualquier foto panorámica de tu biblioteca en un fondo envolvente 3D que puedes usar mientras trabajas.
Los resultados no son tan completos en 3D como los entornos inmersivos de Apple, y no se mueven ni tienen efectos de sonido envolvente. Son como enormes ventanas 3D súper envolventes, con parte de mi oficina aún visible en los bordes.
Se ve bien, aunque no todas mis fotos panorámicas se han convertido (es muy pronto; estoy seguro de que funcionará). Tomé una foto de mi madre en su patio trasero cuando la visité durante la pandemia y ahora me saluda como si estuviera allí otra vez. Me encantaría que Vision Pro agregara una captura de símbolos gaussianos totalmente inmersiva a partir de varias fotos, como hago en Meta Quest.
No puedo evitar preguntarme cómo las esperadas gafas inteligentes de Apple utilizarán Siri con fines de asistencia. Pero me estoy adelantando. En este momento, necesitas un Vision Pro de $ 3499 para que eso suceda, pero cuando Apple tenga gafas AR Proyecto Aura de Google y Xreal ¿Más pequeño y más asequible? ¿Y cuándo otras aplicaciones podrán conectarse al marco de Siri? Será interesante ver qué sucede a continuación. Siento que estoy mirando hacia adelante.
