No importa qué preguntas le hicamos a IA, el modelo vendrá con la respuesta. Para preparar esta información, independientemente de si la respuesta es correcta o no, el modelo usa el token. Los tokens son partes de palabras o palabras que se convierten en un cable de números que pueden ser procesados por LLM.
Junto con este cambio y otros procesos informáticos, desarrolle co -operadores2 El extracto, sin embargo, muchos usuarios desconocen suficientes huellas de carbono asociadas con estas tecnologías. Ahora, los investigadores en Alemania lo midieron y lo compararon2 Las emisiones diferentes, ya entrenadas, LLM utilizan un conjunto de preguntas estándar.
“Los efectos ambientales de cuestionar el LLM capacitado están estrictamente determinados por su razonamiento”, dijo el donante de Macmilian, investigador de la Universidad de Ciencias Aplicadas de Hoschul Manchin. ” Fronteras en la comunicación Estudios “Hemos aprendido que los modelos razonables producen 50 veces más emisiones de CO2 que los modelos de reacción integrales”.
‘Pensar’ AI causa la mayoría de las emisiones
Los investigadores revisaron 14 LLM de siete a 72 mil millones de parámetros en 1,000 preguntas de referencia en diversos artículos. Los parámetros determinan cómo LLM aprende y acciones.
Los modelos de razonamiento crearon un promedio de 543.5 fichas de “pensamiento” por preguntas, mientras que los modelos integrales solo necesitan 37.7 tokens por pregunta. Los tokens que piensan son tokens adicionales que producen LLM antes de preparar una respuesta. Una huella de ficha alta siempre significa alta emisión de CO2. Sin embargo, esto no significa necesariamente que las respuestas resultantes sean más precisas, porque los detalles extensos que no siempre son necesarios para la precisión.
El modelo más preciso fue el modelo de Kogato de razonamiento con 70 mil millones de parámetros, que alcanzaron la precisión del 84.9 %. El modelo desarrolló tres veces más socio2 Modelos similares de tamaño en comparación con las emisiones que produjeron respuestas completas. “Actualmente, vemos un claro comercio de estabilidad de precisión inherente en las tecnologías LLM”, dijo el donante. “Ninguno de los modelos con 500 gramos de CO2 emitidos por debajo del CO2 no obtuvo más del 80 % de precisión para la respuesta correcta a 1,000 preguntas”. Co2 Se utiliza una unidad igual para medir los efectos del clima de diferentes gases de efecto invernadero.
Como resultado del tema, el socio también ha producido niveles significativamente diferentes2 Extraiga preguntas que requieren un largo proceso de razonamiento, por ejemplo, álgebra o filosofía, seis veces más que artículos consecutivos como la historia de la escuela secundaria.
Practicar el uso cuidadosamente
Los investigadores dijeron que esperan que su trabajo haga que las personas tomen decisiones más informadas sobre el uso de su IA. El donante señaló: “Los consumidores pueden reducir significativamente la emisión de IA para crear respuestas integrales o para limitar el uso de modelos de alta capacidad a tareas que realmente requieren este poder”.
Por ejemplo, la selección del modelo puede marcar una diferencia significativa en el socio2 Extracto, por ejemplo, las respuestas al DPSC R1 (70 mil millones de parámetros) se compartirán con las respuestas a 600,000 preguntas2 Viaje de ida y vuelta desde Londres a Nueva York. Mientras tanto, Kevin 2.5 (72 mil millones de parámetros) puede responder más de tres veces más de tres veces (aproximadamente 1.9 millones) con tasas de precisión similares, al tiempo que produce la misma emisión.
Los investigadores dijeron que sus resultados podrían verse afectados por la elección del hardware utilizado en el estudio, dependiendo de un factor de emisión que depende de la combinación de la red de energía local y dependiendo de los modelos de examen. Estos factores pueden restringir la capacidad general del general.
El donante concluyó: “Si los consumidores conocen el costo correcto de CO2 de sus afluencias de IA, como convertirse accidentalmente en una figura de acción, pueden ser más selectivos y pensar en cuándo y cómo usan estas tecnologías”.
