Sin duda, hay dos grandes áreas tecnológicas que se han desarrollado rápidamente en la última década: la inteligencia artificial (IA) y el Internet de las cosas (IoT). Al sobresalir en tareas como el análisis de datos, el reconocimiento de imágenes y el procesamiento del lenguaje natural, los sistemas de IA se han convertido en herramientas innegablemente poderosas tanto en entornos académicos como industriales. Mientras tanto, la miniaturización y los avances en la electrónica han permitido reducir drásticamente el tamaño de los dispositivos activos capaces de conectarse a Internet. Tanto los ingenieros como los investigadores predicen un mundo en el que los dispositivos de IoT serán omnipresentes, sentando las bases para un mundo altamente interconectado.
Sin embargo, llevar capacidades de IA a los dispositivos de IoT presenta un desafío importante. Las redes neuronales artificiales (RNA), una de las tecnologías de IA más importantes, requieren importantes recursos computacionales. Mientras tanto, los dispositivos de borde de IoT son intrínsecamente pequeños, con potencia, velocidad de procesamiento y espacio de circuito limitados. Desarrollar RNA que puedan aprender, implementarse y operar de manera eficiente en dispositivos perimetrales es un obstáculo importante.
En respuesta, el profesor Takayuki Kawahara y el Sr. Yuya Fujiwara de la Universidad de Ciencias de Tokio están trabajando arduamente para encontrar una solución elegante a este desafío. En su último estudio, publicado en IEEE Access el 8 de octubre de 2024, presentan un nuevo algoritmo de entrenamiento para un tipo especial de ANN llamado Red Neural Binarizada (BNN), así como una versión moderna de este algoritmo. ultracomputación. La arquitectura In-Memory (CiM) es adecuada para dispositivos IoT.
“Las BNN son ANN que utilizan sólo pesos y valores de activación de -1 y +1, y pueden reducir los recursos informáticos necesarios para la red reduciendo la unidad más pequeña de información a solo un bit”, sin embargo, explica Kawahara. Aunque los pesos y los valores de activación se pueden almacenar en un bit durante la estimación, los pesos y los gradientes son números reales durante el aprendizaje y la mayoría de los cálculos realizados durante el aprendizaje también son números reales, por lo que se ha vuelto difícil proporcionar BNN. con la capacidad de aprender en el borde de IoT”.
Para superar esto, los investigadores desarrollaron un nuevo algoritmo de entrenamiento llamado BNN de gradiente ternario (TGBNN), que incluye tres innovaciones clave. En primer lugar, utiliza gradientes ternarios durante el entrenamiento, mientras mantiene los pesos y la activación binarios. En segundo lugar, ampliaron el estimador directo (STE), que mejoró el control de la retropropagación del gradiente para garantizar un aprendizaje eficiente. En tercer lugar, adoptaron un enfoque probabilístico para actualizar los parámetros aprovechando el comportamiento de las células MRAM.
A continuación, el equipo de investigación implementó este novedoso algoritmo TGBNN en la arquitectura CiM, un paradigma de diseño innovador en el que los cálculos se realizan directamente en la memoria en lugar de en un procesador dedicado para ahorrar espacio y energía en el circuito. Para lograr esto, desarrollaron una puerta lógica XNOR completamente nueva para matrices de memoria magnética de acceso aleatorio (MRAM). Esta puerta utiliza una unión de túnel magnético para almacenar información en su estado magnético.
Para cambiar el valor almacenado de una célula MRAM individual, los investigadores explotaron dos mecanismos diferentes. El primero fue el par de torsión de la órbita de espín, la fuerza que se produce cuando se induce una corriente de espín de un electrón en un material. El segundo fue la anisotropía magnética controlada por voltaje, que se refiere a la manipulación de la barrera de energía que existe entre los diferentes estados magnéticos de un material. Gracias a estos métodos, el tamaño del circuito de cálculo del producto de la suma se reduce a la mitad que el de las unidades convencionales.
El equipo probó el rendimiento de su sistema CIM basado en MRAM propuesto para BNN utilizando el conjunto de datos de escritura a mano MNIST, que contiene imágenes de dígitos escritos a mano individuales que las ANN deben reconocer. “Los resultados muestran que nuestro BNN de gradiente ternario logró una precisión de más del 88% utilizando el aprendizaje basado en códigos de salida de corrección de errores (ECOC), al mismo tiempo que igualó la precisión de los BNN regulares con la misma estructura y logró una rápida convergencia durante el entrenamiento”, señala Kawahara. . . “Creemos que nuestro diseño permitirá BNN eficientes en dispositivos perimetrales, preservando su capacidad de aprender y adaptarse”.
Este desarrollo podría allanar el camino para la creación de potentes dispositivos IoT capaces de aprovechar al máximo la IA. Esto tiene implicaciones importantes para muchos campos en rápido desarrollo. Por ejemplo, los dispositivos portátiles de monitoreo de la salud pueden volverse más eficientes, más pequeños y más confiables sin requerir conectividad en la nube en todo momento para funcionar. De manera similar, las casas inteligentes podrán realizar tareas más complejas y operar de manera más receptiva. En estos y todos los demás casos de uso posibles, el diseño propuesto también puede reducir el consumo de energía, contribuyendo así a los objetivos de sostenibilidad.
