En el nuevo estudio, Apple enseñó a un modelo de IA a reconocer gestos con las manos que no formaban parte de su conjunto de datos de entrenamiento original. Aquí están los detalles.
¿Qué es la EMG?
Apple publicó un nuevo estudio en su blog Machine Learning Research, llamado EMbridge: mejora de la generalización de gestos a partir de señales EMG mediante el aprendizaje de representaciones intermodales. Esta investigación será presentada Conferencia ICLR 2026 en abril
En él, los investigadores explican cómo entrenaron un modelo de IA para reconocer gestos con las manos, incluso cuando esos gestos específicos no formaban parte de su conjunto de datos original.
Para lograr esto, desarrollaron EMBbridge, “un marco de aprendizaje de representación intermodal que cierra la brecha de modalidad entre EMG y pose”.
EMG, o electromiografía, mide la actividad eléctrica generada por los músculos durante la contracción. Sus aplicaciones prácticas van desde el diagnóstico médico y la fisioterapia hasta el control de prótesis de extremidades.
Más recientemente (aunque ciertamente esta no es un área nueva), esto se ha explorado más ampliamente en dispositivos portátiles y sistemas AR/VR.
Las gafas Ray-Ban Display de Meta, por ejemplo, utilizan tecnología EMG en lo que Meta llama Neural Band, un dispositivo que se lleva en la muñeca y que “interpreta las señales musculares para navegar por las funciones de la pantalla Meta Ray-Ban”, como lo describe la compañía.
En el estudio de Apple, las señales EMG utilizadas para el entrenamiento no fueron detectadas por un dispositivo de muñeca. En cambio, los investigadores utilizaron dos conjuntos de datos:
- emg2pose: “(…) un conjunto de datos EMG de código abierto a gran escala que contiene 370 horas de sEMG y datos de posturas de manos sincronizadas de 193 usuarios que dieron su consentimiento, 29 grupos de comportamiento diferentes que incluyen una variedad de movimientos de manos discretos y continuos, como cerrar el puño o contar hasta cinco. Las etiquetas de posturas de las manos generan datos de alta velocidad utilizando un sistema de captura de alta velocidad. 80 millones de etiquetas de posturas y cuatro sesiones de grabación por categoría de gestos completadas por usuario, cada sesión duró entre 45 y 120 s, durante los cuales los usuarios utilizaron repetidamente de 3 a 5 secuencias de gestos similares. Los EMG se normalizaron por instancia, se filtraron de paso de banda (2 a 250 Hz) y se filtraron con muescas a 60 Hz.
- Nina Pro DB2: “Utilizamos dos conjuntos de datos NinaPro EMG para una evaluación más completa de EMBbridge. Específicamente, el Ninapro DB2 utilizado para el pre-entrenamiento, que incluye datos de postura EMG emparejados de 40 sujetos. Contiene 49 gestos de las manos (flexión del pulgar, agarres funcionales y agarres funcionales por 40 sujetos). Las señales EMG son 12 hacia adelante a una frecuencia de muestreo de 2 kHz. Además de los datos cinemáticos de la mano registrados desde los electrodos, capturados por un guante de datos, utilizamos el NinaPro DB7, que contenía datos de 20 sujetos no computados recopilados con el mismo dispositivo EMG y conjunto DB2.
Dicho esto, es fácil ver cómo EMbridge de Apple podría allanar el camino para que futuros modelos de Apple Watch (u otros dispositivos portátiles) controlen Apple Vision Pro, Mac, iPhone y otros dispositivos portátiles, incluidas sus rumoreadas próximas gafas inteligentes.
En la práctica, las posibilidades pueden ser significativas, desde nuevos métodos de interacción hasta una mejor accesibilidad.
Bueno, el estudio en sí no menciona explícitamente ningún producto o aplicación específica de Apple, pero sí dice lo siguiente:
Una posible aplicación práctica de nuestro marco es la interacción portátil entre humanos y computadoras. En
En situaciones como VR/AR y aplicaciones de control de prótesis, un dispositivo que se lleva en la muñeca necesita inferir continuamente los gestos de las manos a partir de EMG para impulsar un avatar virtual o un brazo robótico.
¿Qué es EMBridge?
EMBridge fue la forma que tuvieron los investigadores de cerrar la brecha entre las señales musculares EMG reales y los datos estructurados de la postura de la mano.
El modelo, entrenado utilizando un marco de modelos cruzados, se preentrenó primero con datos de EMG y de postura de la mano por separado.
Luego, los investigadores alinearon las dos representaciones para que el codificador EMG pudiera aprender del codificador de pose. Esto permite a EMBridge aprender a reconocer patrones de gestos a partir de señales EMG.
Una vez hecho esto, entrenaron el sistema usando reconstrucción de pose enmascarada, ocultando partes de los datos de pose y pidiendo al modelo que los reconstruyera usando solo la información tomada de la señal EMG.
Los resultados, según explican los investigadores:
“Hasta donde sabemos, EMBridge es el primer marco de aprendizaje de representación entre modelos que logra una clasificación de gestos de disparo cero a partir de señales EMG portátiles, lo que muestra el potencial para el reconocimiento de gestos del mundo real en dispositivos portátiles”.
Para reducir los errores de entrenamiento causados por tratar gestos similares como negativos, los investigadores enseñaron al modelo a reconocer cuándo los gestos representaban configuraciones de manos similares, permitiéndole crear objetivos suaves para esos gestos en lugar de tratarlos como si no tuvieran ninguna relación.
Esto ayudó a dar forma al espacio de representación del modelo, mejorando su capacidad para generalizar gestos que nunca antes había visto.
Los autores evaluaron EMBbridge en dos puntos de referencia, emg2pose y NinaPro, y descubrieron que superó consistentemente a los métodos existentes, particularmente en el reconocimiento de gestos de disparo cero (o nunca antes visto). Es importante destacar que lo hizo con sólo el 40% de los datos de entrenamiento.
Una limitación importante señalada en el artículo es que el modelo se basa en conjuntos de datos que contienen señales EMG y datos sincronizados de la postura de la mano. Esto significa que su formación todavía depende de conjuntos de datos especializados que pueden ser difíciles de recopilar.
Aún así, el estudio es interesante, especialmente en un momento en el que el control de dispositivos basado en EMG parece estar en aumento.
Para obtener detalles técnicos completos, incluidos los componentes Q-Former, MPRL y CASCle de EMBbridge, Sigue este enlace.
