Copilot ahora está profundamente integrado en la barra de tareas de Windows 11, como todos esperábamos, y se está implementando ahora. Si pasa el cursor sobre las aplicaciones en la barra de tareas de Windows 11, ahora puede compartir la ventana de su aplicación con Copilot y comenzar a hacer preguntas, como cómo responder a un correo electrónico si está en Outlook. Por tonto que parezca, ese es el objetivo de Copilot Vision.
He visto la función “Compartir con Copilot” en mi PC Intel Lunar Lake Copilot+, pero está llegando a todos y no es necesaria una de estas PC “AI”. Esto significa que, si tienes una de esas PC normales sin IA con AMD o Intel, seguirás viendo “Compartir con Copilot” en tu barra de tareas, y eso tiene sentido (más sobre esto más adelante).
¿Cómo funciona “Compartir con Copilot” en la barra de tareas?
En nuestras pruebas, Windows Latest descubrió que “Compartir con Copilot” aparecía cuando pasaba el cursor sobre las aplicaciones abiertas en la barra de tareas. Y aparece literalmente en cualquier ventana de aplicación con CloudFlare WARP, un servicio similar a una VPN. También miré el interruptor de Netflix, que tiene contenido protegido con DRM, pero no funciona correctamente por razones obvias.
Cuando comparte la ventana de una aplicación, Copilot utiliza IA basada en la nube para analizar el contenido de la aplicación y proporcionar información. Por ejemplo, abrí un correo electrónico de Outlook en segundo plano y compartí la ventana con Copilot. Copilot comenzó a leer mi correo electrónico, que ya estaba abierto, pero no podía abrir otros correos electrónicos, desplazarse ni hacer clic en ningún lado.
El copiloto sólo puede ver lo que tú puedes ver y puede guiarte. Por ejemplo, le pregunté a Copilot cómo podía responder a un correo electrónico y me dijo que buscara un botón de “enviar”, que ni siquiera existe (Copilot está alucinando en este momento). Pero le pedí a Copilot que me mostrara “cómo” y “dónde” hacer clic.
Copilot activó su propio “cursor”, que apareció en la pantalla y luego resaltó dónde necesitaba hacer clic. Afortunadamente, CoPilot analizó correctamente mi pantalla y me dijo que usara el botón ‘Responder’, no ‘Enviar’, que no existe en la pantalla, pero que fue recomendado la última vez.
A continuación, le pregunté a Copilot cómo eliminar el correo electrónico y nuevamente resaltó la opción correcta.
Microsoft lo llama “ayuda guiada” y un documento de soporte confirma que se supone que Copilot Vision lo ayudará, pero no funcionará con contenido confidencial o protegido con DRM.
¿Cómo agrega Microsoft “Compartir con Copilot” a todas las ventanas de aplicaciones en la barra de tareas?
Windows Latest ve a Microsoft usando una API de Windows que permite que una aplicación de comunicación se conecte al shell de Windows 11 (como la barra de tareas o la interfaz de usuario compartida) para mostrar el comando Comenzar a compartir/dejar de compartir de Windows y pasarle a la aplicación el ID de ventana exacto que el usuario ha elegido.
Se supone que esta API es utilizada por aplicaciones como Team, pero Microsoft está haciendo todo lo posible y usándola para Copilot. No es una API abierta que los desarrolladores puedan utilizar.
Esta API está marcada como una característica de acceso limitado, lo que normalmente significa que Microsoft tiene que aprobarlo y darle un token de desbloqueo antes de que pueda usarlo en un producto real.
Si OpenAI quiere replicar el mismo comportamiento, tendrá que comunicarse con Microsoft y esperar la aprobación.
Es por eso que solo vemos que Copilot lo usa, porque el propio Microsoft (o socios seleccionados) puede otorgar acceso, y Copilot puede luego registrarse como una “fuente de comando para compartir” durante una sesión.
