La comunicación de millones de oyentes sordos y duros en todo el mundo, las barreras a la comunicación pueden dificultar el diálogo diario. Las soluciones tradicionales, como el portavoz del lenguaje indicador, a menudo dependen de la disponibilidad baja, costosa y humana. En el mundo digital rápido, la demanda de tecnologías inteligentes y auxiliares que ofrece soluciones de comunicación de tiempo real, precisos y accesibles, tiene como objetivo eliminar esta importante brecha.
El lenguaje del símbolo estadounidense (ASL) es uno de los idiomas de signos más utilizados, que contiene diferentes gestos de la mano que representa letras, palabras y frases. Los sistemas de identidad ASL actuales a menudo luchan con el rendimiento de tiempo real, la precisión y la fortaleza en un entorno diverso.
Un desafío importante en el sistema ASL radica en distinguir gestos similares como “A” y “T” o “M” y “N”, lo que a menudo conduce a malentendidos. Además, la calidad del conjunto de datos ofrece obstáculos importantes, que incluyen una resolución de imagen deficiente, desenfoque de movimiento, luz contradictoria y variaciones en forma de mano, cabezal de piel y fondo. Estos factores introducen sesgo y reducen la capacidad del modelo para normalizar diferentes usuarios y entornos.
Para abordar estos desafíos, los investigadores de la Facultad de Ingeniería e Informática de la Florida Atlantic University han desarrollado un moderno sistema de interpretación de ASL en tiempo real. Con el seguimiento exacto de las manos del Medipipe, el sistema puede identificar adecuadamente las letras alfabéticas ASL en tiempo real, combinando la fuerza para detectar los objetos de Yolov 11. Usando el seguimiento de puntos de mano profundos avanzados y el punto clave, traduce los gestos ASL en el texto, lo que permite a los usuarios deletrear interactivamente con nombres, ubicaciones y más notable truco.
En su parte básica, una cámara web Built -in actúa como un sensor de contacto libre de contacto, que está directamente ocupado por datos visuales que convierten marcos digitales para el análisis de indicadores. La tubería de medios indica 21 capsuntas en cada mano para hacer un mapa de esqueleto, mientras que Yolov 11 usa estos puntos para detectar y clasificar las regiones ASL de alta precisión.
“Lo que hace que este sistema sea especialmente notable es que toda la tubería de identidad, desde capturar el indicador hasta la clasificación, funciona en tiempo real, independientemente de las diferentes condiciones o antecedentes”. Candidato en el Departamento de Ingeniería Eléctrica e Informática de FAU. “Y todo esto se obtiene utilizando hardware estándar y de ida y vuelta. Ilustra las capacidades prácticas del sistema como una tecnología auxiliar de altamente accesible y en expansión, lo que lo convierte en una solución viable para aplicaciones del mundo real”.
Los resultados del estudio publicado en la revista SensorConfirme la efectividad del sistema, que retrasa el retraso mínimo del 98.2 % (precisión promedio, map@0.5). Esta búsqueda destaca el tiempo real del sistema en tiempo real, lo que lo convierte en una solución ideal para aplicaciones que requiere un rendimiento rápido y confiable, como el procesamiento directo de video y las tecnologías interactivas.
Con 130,000 imágenes, los indicadores del alfabeto ASL contienen diferentes tipos de indicadores manuales con cazado a mano para ayudar a mejorar los modelos. Estos términos cubren diferentes atmósfera de luz (brillante, tenue y sombra), una gama de fondos (escenas exteriores y interiores), y para garantizar el fortalecimiento.
Cada ícono se interpreta cuidadosamente con 21 capsuntas, que resaltan las estructuras esenciales de la mano, como dedos, novatos y muñecas. Estas interpretaciones proporcionan un mapa esquelético de la mano, que permite a los modelos distinguir gestos similares con una precisión extraordinaria.
“Este proyecto es un excelente ejemplo de cómo se puede aplicar AI a la humanidad”, dijo Amad Mahagoob, co -autor y profesor técnico en el Departamento de Ingeniería Eléctrica e Informática de FAU. “Al fusionar el aprendizaje profundo con la detección histórica de la mano, nuestro equipo creó un sistema que no solo logra una alta precisión, sino que también los accesorios del uso diario siguen siendo accesibles y prácticos. Es un fuerte paso hacia la participación de las tecnologías de comunicación”.
La población sorda en los Estados Unidos es de aproximadamente 11 millones, o 3.6 % de la población, y aproximadamente el 15 % de los adultos estadounidenses (37.5 millones) experimentan dificultades en la escucha.
“La importancia de esta investigación es la capacidad de cambiar la comunicación para la comunidad sorda, que proporciona una herramienta con IA que se traduce en el texto del lenguaje de los indicadores estadounidenses en el texto, lo que permite un diálogo suave en educación, lugares de trabajo, atención médica y entornos sociales”. “Al desarrollar un sistema de interpretación ASL fuerte y accesible, nuestro estudio ayuda al desarrollo de tecnologías auxiliares para eliminar las barreras de la población sordos y auditivos”.
El trabajo futuro se centrará en mejorar las capacidades del sistema, desde el reconocimiento de regiones ASL individuales para traducir la oración completa de ASL. Esto permitirá una comunicación más natural y fluida, lo que permitirá a los consumidores ofrecer todos los pensamientos y frases sin interrupción.
“Esta investigación destaca el poder de cambiar las tecnologías auxiliares de AI para empoderar a la comunidad sorda”, dijo Stella Batma, decana de la Facultad de Ingeniería e Informática. “Al eliminar la diferencia de comunicación a través de la identidad de ASL de tiempo real, este sistema juega un papel clave en la promoción de una sociedad más integral. Permite a los oyentes escuchar la máxima interacción con el mundo que los rodea, ya sea que se introduzcan, ayuden a su entorno o cada día.
Los co -autores del estudio son Easa Alalwany, PhD, el reciente doctorado. FAU COLLEGO DE INGENIERÍA Y CIENCIAS DE CUMPUTADORES y Profesor Asistente en la Universidad de Taiba en Arabia Saudita. Ali Ibrahim, PhD, Apd. Graduado de FAU College of Engineering and Computer Science.
