En el mundo de la aviación, donde hay mucho en juego, la capacidad de un piloto para desempeñarse bajo presión puede significar la diferencia entre un vuelo seguro y un desastre. Una formación integral y precisa es esencial para dotar a los pilotos de las habilidades necesarias para manejar estas situaciones desafiantes.
Los formadores de pilotos confían en sistemas de realidad aumentada (AR) para enseñar a los pilotos, guiándolos a través de varios escenarios para que aprendan las acciones adecuadas. Pero estos sistemas funcionan mejor cuando se adaptan al estado mental del sujeto individual.
Ingrese a HuBar, una nueva herramienta de análisis visual diseñada para resumir y comparar sesiones de desempeño de tareas en AR, como vuelos simulados guiados por AR, analizando el comportamiento y la carga de trabajo cognitiva del ejecutante.
Al proporcionar una visión profunda del comportamiento y los estados mentales de los pilotos, HuBar permite a los investigadores y formadores identificar patrones, señalar áreas de dificultad y programas de formación habilitados por AR para mejorar los resultados del aprendizaje y el rendimiento en el mundo real.
HuBar fue desarrollado por un equipo de investigación de la Escuela de Ingeniería Tandon de la Universidad de Nueva York que lo presentará en la Conferencia de Visualización y Análisis Visual IEEE 2024 el 17 de octubre de 2024.
“Si bien la formación de pilotos es un caso de uso potencial, HuBar no es sólo para la aviación”, explicó Claudio Silva, profesor del departamento de Ingeniería y Ciencias de la Computación (CSE) del Instituto Tandon de la Universidad de Nueva York, que ha trabajado con Northrop Grumman Corporation (NGC). dirigió la investigación. ). “HuBar visualiza diversos datos de tareas habilitadas con AR y este análisis integral conduce a un mejor rendimiento y resultados de aprendizaje en una variedad de escenarios complejos”.
“HuBar puede ayudar a mejorar la capacitación en cirugía, operaciones militares y operaciones industriales”, dijo Silva, quien también es codirector del Centro de Investigación de Visualización y Análisis de Datos (VIDA) de la Universidad de Nueva York.
El equipo presentó HuBar en un artículo que demuestra sus capacidades utilizando la aviación como caso de estudio, analizando datos de múltiples pilotos de helicópteros en una simulación de vuelo AR. El equipo también produjo un vídeo sobre el sistema.
Centrándose en dos sujetos piloto, el sistema reveló diferencias sorprendentes: un sujeto mantuvo en su mayoría estados de atención óptimos con pocos errores, mientras que el otro experimentó estados de subcarga y cometió errores frecuentes.
Un análisis detallado del HuBar, incluidas imágenes de vídeo, mostró que el copiloto de bajo rendimiento consultaba el manual con más frecuencia, lo que indica menos familiaridad con la tarea. En última instancia, HuBar puede permitir a los formadores identificar áreas específicas en las que los copilotos tienen dificultades y comprender por qué, proporcionando información para mejorar los programas de formación con la ayuda de la RA.
Lo que hace que HuBar sea único es su capacidad para analizar tareas no lineales en las que diferentes secuencias de pasos pueden conducir al éxito, al mismo tiempo que integra y visualiza múltiples flujos de datos complejos.
Incluye clasificación de la actividad cerebral (fNIRS), movimientos corporales (IMU), seguimiento ocular, procedimientos de tareas, errores y carga de trabajo mental. El enfoque holístico de HuBar permite un análisis holístico del comportamiento realizado en tareas asistidas por AR, lo que permite a investigadores y entrenadores analizar estados cognitivos, funciones físicas y diferentes vías para completar la tarea. Permite la identificación de correlaciones entre el desempeño laboral.
El sistema de visualización interactiva de HuBar también facilita las comparaciones entre diferentes sesiones y artistas, permitiendo detectar patrones y anomalías en procesos complejos y no secuenciales que pasan desapercibidos en los métodos de análisis tradicionales.
“Ahora podemos ver exactamente cuándo y por qué alguien se sobrecarga mentalmente o se descarga peligrosamente durante una tarea”, dijo Sonia Castillo, Ph.D., ingeniera investigadora de VIDA. Estudiante de VIDA y autor principal del artículo de HuBar. “Este tipo de análisis detallado en una gama tan amplia de aplicaciones nunca antes había sido posible. Es como tener una visión de rayos X de la mente y el cuerpo de una persona en el trabajo, para satisfacer sus necesidades. Proporcionar información para adaptar el sistema de asistencia AR. “
A medida que los sistemas AR, incluidos auriculares como Microsoft Hololens, Meta Quest y Apple Vision Pro, se vuelvan más sofisticados y ubicuos, herramientas como HuBar serán fundamentales para comprender cómo estas tecnologías afectan el rendimiento humano y la carga cognitiva.
“La próxima generación de sistemas de entrenamiento AR puede adaptarse en tiempo real según el estado mental del usuario”, afirmó João Relf, Ph.D. estudiante de VIDA que trabajó en el proyecto. “HuBar nos está ayudando a comprender cómo puede funcionar en diversas aplicaciones y estructuras de tareas complejas”.
HuBar es parte de la investigación que Silva está llevando a cabo en el marco del programa de Orientación de tareas (PTG) habilitado por percepción de la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA). Respaldado por un contrato DARPA de $5 millones, el grupo NYU tiene como objetivo desarrollar tecnologías de inteligencia artificial para ayudar a las personas a realizar tareas complejas y al mismo tiempo hacer que esos usuarios sean más versátiles al aumentar sus habilidades y reducir sus errores para convertirse en más expertos. Los datos piloto de este estudio provienen de NGC como parte de DARPA PTG.
