En la carrera por desarrollar sistemas de percepción robustos para robots, un desafío constante es operar en condiciones climáticas adversas y duras. Por ejemplo, los sensores de visión tradicionales basados en la luz, como las cámaras o LiDAR (detección y alcance de luz), fallan en presencia de humo y niebla densos.
Sin embargo, la naturaleza ha demostrado que la visión no tiene por qué estar limitada por las limitaciones de la luz: muchos organismos han desarrollado formas de percibir su entorno sin depender de la luz. Los murciélagos navegan utilizando ecos de ondas sonoras, mientras que los tiburones cazan detectando campos eléctricos de los movimientos de sus presas.
Las ondas de radio, que tienen longitudes de onda más largas que las ondas de luz, pueden penetrar mejor el humo y la niebla, e incluso ver a través de ciertos materiales, todas capacidades que van más allá de la visión humana. Sin embargo, los robots tradicionalmente han dependido de una caja de herramientas limitada: usan cámaras y LiDAR, que proporcionan imágenes detalladas pero fallan en situaciones difíciles, o radar tradicional, que puede detectar paredes y otros obstáculos y puede ver a través de ellos, pero produce imágenes sin procesar y de baja resolución. .
Ahora, investigadores de la Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania (Penn Engineering) han desarrollado PanoRadar, una nueva herramienta para brindar a los robots una visión sobrehumana al convertir ondas de radio simples en vistas detalladas en 3D del entorno.
“Nuestra pregunta inicial era si podríamos combinar lo mejor de los dos métodos de detección”, dice Mingmin Zhao, profesor asistente de informática y ciencias de la información. “Robustez de las señales de radio, resistencia a la niebla y otras condiciones difíciles, y alta resolución de los sensores visuales”.
En un documento que se presentará en la Conferencia Internacional sobre Computación Móvil y Redes (MobiCom) de 2024, Zhao y su equipo en el Laboratorio Inalámbrico, Audio, Visión y Electrónica para Sensing (WAVES) y Penn Research in Embedded Computing and Integrated Systems Engineering (PRECISO), que incluye al estudiante de doctorado Hawen Lai, al recién graduado de maestría Gaoxiang Luo y al asistente de investigación de pregrado Yifei (Freddy) Liu, describen Cómo PanoRadar aprovecha las ondas de radio y la inteligencia artificial (IA) para ayudar a los robots a navegar incluso en los entornos más desafiantes, como edificios llenos de humo o calles con niebla.
PanoRadar es un sensor que actúa como un faro que barre su haz en círculo para escanear todo el horizonte. El sistema consta de un conjunto vertical giratorio de antenas que escanean su entorno. A medida que giran, estas antenas envían ondas de radio y escuchan sus reflejos en el entorno, de forma muy similar a como el haz de un faro detecta la presencia de barcos y accidentes costeros.
Gracias al poder de la IA, PanoRadar va más allá de esta simple estrategia de escaneo. A diferencia de un faro que ilumina diferentes áreas a medida que gira, PanoRadar combina inteligentemente mediciones desde todos los ángulos de rotación para mejorar la resolución de sus imágenes. Si bien el sensor en sí es solo una fracción del costo de los sistemas LiDAR típicamente costosos, esta estrategia de rotación crea una densa variedad de puntos de medición virtuales, lo que permite a PanoRadar lograr una resolución de imagen comparable a la de LiDAR. “La innovación clave es cómo procesamos estas mediciones de ondas de radio”, explica Zhao. “Nuestros algoritmos de procesamiento de señales y aprendizaje automático pueden extraer información 3D rica del entorno”.
Uno de los mayores desafíos que enfrentó el equipo de Zhao fue desarrollar un algoritmo para mantener imágenes de alta resolución durante el movimiento del robot. era “Para lograr una resolución comparable a LiDAR con señales de radio, necesitamos medir desde muchas posiciones diferentes con una precisión submilimétrica. deben combinarse”, explica Lai, autor principal del artículo. “Esto resulta especialmente difícil cuando el robot está en movimiento, ya que incluso los pequeños errores de movimiento pueden afectar significativamente a la calidad de las imágenes. poder.”
Otro desafío que abordó el equipo fue enseñar a su sistema a comprender lo que ve. “El ambiente interior tiene patrones y geometrías constantes”, dice Lowe. “Aprovechamos estos patrones para ayudar a nuestro sistema de inteligencia artificial a interpretar las señales de radar, de manera muy similar a como los humanos aprenden a comprender lo que ven durante el proceso de entrenamiento en el que se basa el modelo de aprendizaje automático”. datos LiDAR para comparar su comprensión con la realidad y pudo seguir mejorándose.
“Nuestras pruebas de campo en varios edificios mostraron cómo la detección por radio puede mejorar donde los sensores tradicionales tienen dificultades”, dice Liu. “El sistema mantiene un seguimiento preciso a través del humo y también puede mapear espacios con paredes de vidrio”. Esto se debe a que las partículas en el aire no bloquean fácilmente las ondas de radio y el sistema también puede “capturar” objetos que LiDAR no puede, como las superficies de vidrio. La alta resolución de PanoRadar también significa que puede identificar personas con precisión, una característica importante para aplicaciones como vehículos autónomos y misiones de rescate en entornos peligrosos.
De cara al futuro, el equipo planea explorar cómo se puede combinar PanoRadar con otras tecnologías de detección, como cámaras y LiDAR, para crear un sistema de percepción multimodal más robusto para robots. El equipo también está ampliando sus pruebas para incluir varias plataformas robóticas y vehículos autónomos. “Para tareas avanzadas, es fundamental tener múltiples formas de detectar el entorno”, afirma Zhao. “Cada sensor tiene sus fortalezas y debilidades y, combinándolos con inteligencia, podemos crear robots que estén mejor equipados para enfrentar los desafíos del mundo real”.
El estudio se llevó a cabo en la Facultad de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania y contó con el apoyo del Faculty Startup Fund.
