Las aplicaciones de inteligencia artificial como ChatGPT se basan en redes neuronales artificiales que, en muchos aspectos, imitan las neuronas de nuestro cerebro. Están entrenados en computadoras de alto rendimiento con grandes cantidades de datos, consumiendo grandes cantidades de energía en el proceso. La activación de neuronas, que tienen muy baja energía, puede ser una solución a este problema. En el pasado, sin embargo, las técnicas comunes utilizadas para entrenarlos sólo funcionaban con limitaciones significativas. Un estudio reciente de la Universidad de Bonn ofrece ahora una posible nueva respuesta a este dilema, que podría allanar el camino para nuevos métodos de IA que sean más eficientes energéticamente. Los resultados se publican cartas de examen fisico.
Nuestro cerebro es un órgano extraordinario. Consume tanta energía como tres bombillas LED y pesa menos que una computadora portátil. Y, sin embargo, puede componer piezas musicales, formular algo tan complejo como la teoría cuántica y filosofar sobre el más allá.
Aunque las aplicaciones de inteligencia artificial como ChatGPT también son sorprendentemente poderosas, consumen mucha energía mientras combaten un problema. Al igual que el cerebro humano, se basan en una red neuronal en la que miles de millones de “neuronas” intercambian información. Las neuronas artificiales estándar, sin embargo, hacen esto sin interrupción, como una cerca de malla de alambre en la que la electricidad nunca deja de fluir.
“Las neuronas biológicas funcionan de manera diferente”, explica el profesor Raoul-Martin Meisheimer del Instituto de Genética de la Universidad de Bonn. “Se comunican mediante pulsos de voltaje cortos, llamados potenciales de acción o picos”. Estos son muy raros, por lo que las redes consumen muy poca energía”. Por lo tanto, el desarrollo de redes neuronales artificiales que también “aumenten” de esta manera es un área importante de la investigación en IA.
Redes de refuerzo: eficientes pero difíciles de entrenar
Las redes neuronales deben entrenarse para que puedan completar determinadas tareas. Imagina que tienes una IA y quieres que aprenda la diferencia entre una silla y una mesa. Entonces le muestras las fotos de los muebles y ves si su respuesta es correcta o incorrecta. Algunas conexiones en una red neuronal serán más fuertes y otras más débiles dependiendo de los resultados, con el efecto de que la tasa de error disminuye de un ciclo de entrenamiento al siguiente.
Después de cada ciclo, este entrenamiento cambia qué neuronas influyen en qué otras y en qué medida. “En las redes neuronales tradicionales, las señales de salida cambian gradualmente”, afirma Meimsheimer, que también es miembro del área de investigación transdisciplinaria de vida y salud. “Por ejemplo, la señal de salida puede caer de 0,9 a 0,8. Sin embargo, con una neurona con picos, es diferente: los picos están ahí o no. No se puede tener medio pico”.
Se podría decir que cada conexión en una red neuronal viene con un controlador que permite aumentar o disminuir un poco la señal de salida de la neurona. Luego, la configuración de todos los controles se optimiza hasta que la red pueda distinguir con precisión las sillas de las mesas. Sin embargo, en las redes con picos, los diales de control no pueden cambiar gradualmente la intensidad de las señales de salida. “Esto significa que no es tan fácil fijar el peso de la conexión”, señala el Dr. Christian Kloss, colega de Memsheimer y primer autor del estudio.
Aunque anteriormente se suponía que el método de entrenamiento habitual (lo que los investigadores llaman “aprendizaje de descenso de gradiente”) sería extremadamente problemático para las redes de picos, las últimas investigaciones han demostrado que este no es el caso. “Hemos descubierto que, en algunos modelos neuronales estándar, los picos no pueden aparecer o desaparecer así, sino que, básicamente, pueden adelantarse o retroceder en el tiempo”, explica Kloss. Las veces que aparecen los picos se pueden ajustar (continuamente, según parece) utilizando la fuerza de la conexión.
Ajuste de pesos de conexión en redes con picos
Diferentes patrones temporales de picos influyen en el comportamiento de respuesta de la neurona a la que se dirigen. En pocas palabras, cuanto más “simultáneamente” una neurona biológica o artificial en crecimiento reciba señales de varias otras neuronas, más probabilidades habrá de que genere un pico por sí sola. En otras palabras, la influencia de una neurona sobre otra puede modularse tanto por la fuerza de las conexiones como por el momento de los picos. “Y podemos utilizar los mismos métodos de entrenamiento convencionales altamente eficientes para ambos en las redes neuronales de alta velocidad que hemos estudiado”, dice Kloss.
Los investigadores ya han podido demostrar que su técnica funciona en la práctica, entrenando con éxito una red neuronal de alta velocidad para distinguir con precisión los números escritos a mano entre sí. Para el siguiente paso quieren asignarle una tarea mucho más compleja, es decir, comprender el habla, dice Memsheimer: “Aunque todavía no sabemos qué papel desempeñará nuestro método en el futuro en el entrenamiento de redes de ataque, creemos que tiene un efecto “Tiene mucho potencial, simplemente porque es muy preciso y refleja con tanta precisión el mecanismo que funciona mejor con redes neuronales sin picos”.
Fondos:
Este estudio fue financiado por el Ministerio Federal de Educación e Investigación (BMBF) a través del Premio Bernstein 2014.
