Una de las cosas que hace que los modelos de lenguajes grandes (LLM) sean tan poderosos es la diversidad de tareas a las que se pueden aplicar. El mismo modelo de aprendizaje automático que puede ayudar a un estudiante de posgrado a redactar un correo electrónico también puede ayudar a un médico a diagnosticar el cáncer.
Sin embargo, la amplia aplicabilidad de estos modelos también dificulta su evaluación sistemática. Sería imposible crear un conjunto de datos de referencia para probar el modelo en cada tipo de pregunta.
En un nuevo artículo, los investigadores del MIT adoptaron un enfoque diferente. Sostienen que, dado que los humanos deciden cuándo implementar grandes modelos de lenguaje, evaluar un modelo requiere comprender cómo cree la gente sobre sus capacidades.
Por ejemplo, el estudiante de posgrado debe decidir si el modelo podría ser útil para redactar un correo electrónico en particular, y el médico debe determinar en qué situaciones sería mejor consultar el modelo.
Sobre la base de esta idea, los investigadores crearon un marco para evaluar un LLM en función de su alineación con las creencias de una persona sobre cómo se desempeñaría en una tarea en particular.
Introducen la función de generalización humana: un modelo de cómo las personas actualizan sus creencias sobre las capacidades de un LLM después de interactuar con él. Luego, examinan qué tan bien se correlacionan los LLM con esta función de generalización humana.
Sus resultados muestran que cuando los modelos no están alineados con una función de generalización humana, el usuario puede tener exceso o falta de confianza sobre dónde implementarlo, lo que lleva a que el modelo falle inesperadamente. Además, debido a esta desalineación, los modelos más capaces se desempeñan peor que los modelos más pequeños en situaciones de alto riesgo.
“Estas herramientas son interesantes porque son de propósito general, pero como son de propósito general, van a funcionar con personas, por lo que tenemos que tener en cuenta a los humanos”, dijo el coautor del estudio Ashish Rambachan, asistente ” dice Ashish Rambachan, coautor de Assistant. Profesor de Economía e Investigador Principal del Laboratorio de Sistemas de Información y Decisión (LIDS).
A Rambachan se une en este artículo el becario postdoctoral de la Universidad de Harvard Kevin Vaffa. y Sendhil Malainathan, profesor del MIT en los departamentos de ingeniería eléctrica e informática y economía y miembro de LIDS. La investigación se presentará en la Conferencia Internacional sobre Aprendizaje Automático.
Generalización humana
A medida que interactuamos con otras personas, nos formamos creencias sobre lo que creemos que saben y lo que no saben. Por ejemplo, si tu amigo es reacio a corregir la gramática de las personas, podrías generalizar y pensar que también destacarán en la construcción de oraciones, aunque nunca les hayas pedido que formulen oraciones.
“Los modelos lingüísticos a menudo parecen muy humanos. Queríamos mostrar que esta fuerza de generalización humana también está presente en la forma en que las personas forman creencias sobre los modelos lingüísticos”, dice Rambachan.
Como punto de partida, los investigadores definieron formalmente la función de generalización humana, que implica hacer preguntas, ver cómo responde una persona o LLM y luego hacer inferencias sobre cómo esa persona o modelo responde a las preguntas relevantes.
Si se ve que el LLM puede responder correctamente preguntas sobre inversión de matrices, también se puede suponer que puede responder preguntas sobre aritmética simple. Un modelo que no está alineado con esta función (un modelo que no funciona bien en preguntas que los humanos esperan que responda correctamente) puede fallar cuando se implementa.
Con esta definición formal en la mano, los investigadores diseñaron una encuesta para evaluar cómo las personas generalizan cuando interactúan con LLM y otras personas.
Mostraron a los participantes de la encuesta preguntas que una persona o LLM acertó o no y luego les preguntaron si pensaban que esa persona o LLM respondería correctamente a la pregunta correspondiente. A través de encuestas, generaron un conjunto de datos de casi 19.000 ejemplos de cómo los humanos generalizan el desempeño del LLM en 79 tareas diversas.
Medición de desalineación
Descubrieron que a los participantes les fue bastante bien cuando se les preguntó si un humano que respondiera correctamente a una pregunta respondería correctamente a la pregunta correspondiente, pero fueron mucho peores a la hora de generalizar el desempeño de los LLM.
“La generalización humana se aplica a los modelos de lenguaje, pero fracasa porque estos modelos de lenguaje en realidad no muestran patrones de experiencia como lo hacen las personas”, dice Rambachan.
También era más probable que las personas actualizaran sus creencias sobre el LLM cuando respondían preguntas incorrectamente que cuando las respondían correctamente. También creían que el desempeño de un LLM en preguntas simples tendría poco efecto en su desempeño en preguntas más complejas.
En situaciones en las que las personas dan más importancia a las respuestas incorrectas, los modelos más simples superaron a los modelos mucho más grandes como GPT-4.
“Los modelos de lenguaje que mejoran pueden hacer que las personas piensen que les irá bien en preguntas relevantes cuando, en realidad, no es así”, afirma.
Una posible explicación de por qué los humanos son peores a la hora de generalizar los LLM puede provenir de su novedad: las personas tienen menos experiencia interactuando con los LLM que otras personas.
“En el futuro, es posible que mejoremos a medida que interactuemos más con los modelos de lenguaje”, afirma.
Con este fin, los investigadores quieren realizar estudios adicionales sobre cómo las creencias de las personas sobre los LLM evolucionan con el tiempo a medida que interactúan con el modelo. También quieren explorar cómo se puede incorporar la generalización humana en el desarrollo de LLM.
“Cuando entrenamos estos algoritmos en primer lugar, o intentamos actualizarlos con comentarios humanos, tenemos que tener en cuenta la función de generalización humana de cómo pensamos sobre las métricas de rendimiento”, dicen.
Mientras tanto, los investigadores esperan que su conjunto de datos pueda usarse como punto de referencia para comparar el desempeño de los LLM en la función de generalización humana con situaciones del mundo real que puedan ayudar a mejorar el desempeño de los modelos implementados.
Esta investigación fue financiada, en parte, por la Iniciativa de Ciencia de Datos de Harvard y el Centro de IA Aplicada de la Escuela de Negocios Booth de la Universidad de Chicago.
