Según un nuevo estudio de la Universidad de Michigan, un método menos derrochador para entrenar modelos de lenguaje grandes, como la serie GPT, se ejecuta en la misma cantidad de tiempo con hasta un 30% menos de energía.
El enfoque podría ahorrar suficiente energía para abastecer a 1,1 millones de hogares estadounidenses en 2026, según las proyecciones de demanda de energía de IA de Wells Fargo. También podría restar valor a la predicción del Fondo Monetario Internacional de que los centros de datos podrían representar el 1,2 por ciento de las emisiones de carbono del mundo para 2027, y las necesidades de agua que conlleva ese uso de energía.
Algunos expertos dicen que estos costos pueden superar los beneficios ambientales. Argumentan que la IA podría ser un “cambio de juego” en la lucha contra el cambio climático al identificar formas de mejorar las cadenas y redes de suministro, gestionar nuestras necesidades energéticas y mejorar la investigación sobre el cambio climático. Aun así, esto no es excusa para desperdiciar energía, y parte de la potencia utilizada para entrenar la IA no tiene impacto en el tiempo de entrenamiento ni en la precisión del modelo.
“¿Por qué gastar algo cuando no hay ningún beneficio?” dijo Musharraf Chaudhary, profesor asociado de ciencias informáticas e ingeniería de la UM y autor correspondiente del estudio presentado en el 30º Simposio sobre Principios de Sistemas Operativos.
“No podemos seguir construyendo centros de datos cada vez más grandes porque no tendremos la energía para ejecutarlos. Si podemos reducir la energía utilizada por la IA, podemos reducir la huella de carbono y las necesidades de refrigeración de la IA. Podemos reducir y permitir más computación. dentro de nuestras limitaciones energéticas actuales”.
El desperdicio de energía ocurre cuando el entrenamiento de IA se distribuye de manera desigual entre las GPU, que son procesadores de computadora especializados en aplicaciones de gráficos y big data. Aunque esto abre la puerta al desperdicio, procesar grandes conjuntos de datos requiere dividir el trabajo.
“Los modelos de IA actuales son tan grandes que no caben dentro de un solo procesador de computadora”, dijo Jae-Won Chung, estudiante de doctorado en ciencias informáticas e ingeniería de la UM y primer autor del estudio. “Es necesario distribuirlos en decenas de miles de procesadores para poder entrenarlos, pero es prácticamente imposible distribuir los modelos exactamente del mismo tamaño en todos los procesadores”.
Distribuir los trabajos de capacitación de manera uniforme es difícil porque algunas tareas deben agruparse en un solo procesador, como por ejemplo, cómo se agrupará cada entrega de una serie de libros en un estante organizado. Dependiendo de cómo se agrupen las tareas, algunos procesadores pueden quedar atrapados en el equivalente de entrenamiento de IA de la Enciclopedia Británica, mientras que a otros se les asigna una tríada imaginaria.
Debido a que los métodos de entrenamiento actuales ejecutan cada procesador a alta velocidad, los procesadores con carga ligera terminarán sus cálculos antes que otros procesadores. Esto no acelera el entrenamiento, que no se completa hasta que cada procesador haya completado su tarea, pero es un desperdicio porque los cálculos más rápidos requieren más energía. Además, problemas como hardware defectuoso o latencia de red provocan un desperdicio de energía al reducir la velocidad de cálculo de un solo procesador.
Para conservar energía, los investigadores desarrollaron una herramienta de software, llamada Perseus, que identifica una ruta crítica, o una serie de subtareas, que tardarán más en completarse. Luego, Perseus ralentiza los procesadores que no están en la ruta crítica para que todos completen sus tareas al mismo tiempo, eliminando el consumo de energía innecesario.
“Disminuir el costo de la electricidad de la IA podría tener implicaciones importantes para el acceso equitativo a la IA”, dijo Chowdhury. “Si un país no tiene suficiente poder para ejecutar un modelo grande, es posible que necesite utilizar servicios lejanos o quedarse estancado ejecutando modelos más pequeños y menos precisos. Estas diferencias varían según las comunidades. Esto puede perpetuar aún más la disparidad entre
El equipo probó Perseus entrenando GPT-3, otros tres modelos de lenguaje importantes y un modelo de visión por computadora.
Perseus es una herramienta de código abierto disponible como parte de Zeus, una herramienta para medir y optimizar el consumo de energía de la IA.
Esta investigación fue financiada por la Fundación Nacional de Ciencias, el Programa de Talento del Consejo Holandés de Investigación (NWO), VMware, la Fundación Mozilla, Salesforce y la Fundación Educativa Kwanjeong. Chameleon Cloud y CloudLab apoyaron la investigación proporcionando recursos computacionales.
