Los modelos de inteligencia artificial de la red nerviosa utilizados en aplicaciones como el procesamiento de imágenes médicas y la identificación del habla funcionan en estructuras de datos altamente complejas que requieren un montón de recuento. Esta es una de las razones por las cuales los modelos de aprendizaje profundo usan tanta energía.
Para mejorar el rendimiento de los modelos de IA, los investigadores del MIT crearon un sistema automatizado que permite a los desarrolladores de algoritmos de aprendizaje profundo explotar dos tipos de desechos de datos. Esto reduce la cantidad de necesidad, enrollamiento y almacenamiento de memoria necesaria para trabajos de aprendizaje automático.
La técnica actual puede estar agobiada para mejorar el algoritmo y, por lo general, solo permite a los desarrolladores aprovechar el escaso o el equilibrio.
Al permitir que un desarrollador cree un algoritmo desde el principio, que aprovecha ambos inutilidad al mismo tiempo, los investigadores del MIT aumentaron la velocidad de cálculo en aproximadamente 30 veces en algunos experimentos.
Dado que este sistema utiliza lenguaje de programación amigable con el usuario, puede mejorar el algoritmo de aprendizaje automático para aplicaciones extensas. Este sistema también puede ayudar a los científicos que no están profundamente educados, pero quieren mejorar el rendimiento del algoritmo de IA que usa datos. Además, este sistema puede tener aplicaciones para la computación científica.
“Durante mucho tiempo, hay mucha necesidad de seguir el desperdicio de estos datos. En cambio, un científico puede decirle a nuestro sistema que nos diga los métodos para contar el sistema por completo. Sin él, ¿qué le gustaría calcular en un más abstracto? ” El co -autor de una disertación sobre Willow Ahreans, un MIT post franqueo y sistema, que se presentará en el Simposio Internacional para la Generación y la Reforma de Código.
Se ha unido al artículo de la autora principal Radha Patel, SMN ’24 y el autor senior Saman Amarsinghi, profesor de ingeniería eléctrica e informática (EECS) y profesor de informática y laboratorio de inteligencia artificial. cSail).
Calcular
En el aprendizaje automático, los datos a menudo se representan y manipulan como filas multi -dimensionales, conocidas como tensores. Un tensor es como una matriz, que es una fila rectangular de valores firmados en dos ejes, filas y columnas. Pero a diferencia de la matriz de dos dimensiones, un tensor puede tener muchas dimensiones o ejes, lo que hace que los tensores sean difíciles de manipular.
Los modelos de aprendizaje profundo trabajan repetidamente en la matriz y además de tensores, así es como las redes nerviosas aprenden muestras complejas en los datos. El volumen total del cálculo que debe realizarse en esta estructura de datos multi -dimensional requiere una gran cantidad de conteo y energía.
Pero debido a que los datos están organizados en los Tensilers, los ingenieros a menudo pueden aumentar la velocidad de la red nerviosa al cortar computadoras inútiles.
Por ejemplo, si un petrolero representa datos de revisión del usuario de un sitio de comercio electrónico, ya que no todos los usuarios han revisado todos los productos, es probable que la mayoría de los valores en este tensor cero. Este tipo de desechos de datos se llama Spartis. Un modelo solo puede ahorrar tiempo y cálculo almacenando y trabajando en valores no cerosos.
Además, a veces un tensor es compatible, lo que significa que la mitad superior de la estructura de datos es igual. En este caso, el modelo debe funcionar en solo la mitad, lo que reducirá la cantidad de cálculo. Este tipo de datos se llama Balance.
“Pero cuando intentas capturar estas dos reformas, la situación se vuelve bastante complicada”.
Para simplificar este proceso, L, él y sus colegas establecen un nuevo programa de computadora que traduce un código complejo en un lenguaje simple que puede ser procesado por una máquina. Su compilación, llamada quística, puede mejorar automáticamente el cálculo aprovechando tanto escasos como de equilibrio en los tensores.
Identificaron tres reformas principales y comenzaron el proceso de construcción quística que podrían usar utilizando el equilibrio.
En primer lugar, si el petrolero de salida del algoritmo es simétrico, entonces solo necesita contar la mitad. En segundo lugar, si el tensor de entrada es compatible, el algoritmo solo necesita ser leído la mitad. Finalmente, si los resultados intermedios de las operaciones del tensor son compatibles, el algoritmo puede dejar computadoras inútiles.
Soluciones simultáneas
El uso de Cystic, un desarrollador ingresa a su programa y el sistema mejora automáticamente su código para los tres tipos de equilibrio. La segunda fase de la quística realiza cambios adicionales para almacenar valores de datos no cerosas, lo que mejora el programa para Spartan.
Finalmente, el quiste produce el código listo para usar.
“De esta manera, obtenemos los beneficios de ambas reformas. Y lo interesante del equilibrio es, porque su tensor tiene más dimensión, por lo que puede obtener aún más ahorros para contar”.
Los investigadores demostraron la velocidad de aproximadamente 30 un elemento de 30 con el código producido automáticamente por quist.
Dado que este sistema es automático, puede ser especialmente útil en situaciones en las que un científico quiere tomar medidas en los datos utilizando un algoritmo que él está escribiendo desde el principio.
En el futuro, los investigadores quieren integrar el quístico en el sistema de petroleros virales actuales para crear una interfaz suave para los consumidores. Además, les gustaría usarlo para mejorar el código para programas más complicados.
Este trabajo es proporcionado parcialmente por la Intel, la Fundación Nacional de Ciencias, la Agencia de Proyectos de Investigación Avanzada de Defensa y el Departamento de Energía.
