A pesar de sus impresionantes capacidades, los principales modelos lingüísticos están lejos de ser perfectos. Estos modelos de inteligencia artificial a veces “engañan” generando información falsa o sin fundamento en respuesta a una pregunta.
Debido a este problema de falsificación, las respuestas del LLM a menudo son verificadas por verificadores de datos humanos, especialmente si un modelo es de alto riesgo, como la atención médica o las finanzas. Sin embargo, el proceso de validación generalmente requiere que las personas lean documentos extensos definidos por el modelo, una tarea tan difícil y propensa a errores que disuade a algunos usuarios de implementar modelos creativos de IA en primer lugar.
Para ayudar a los verificadores humanos, los investigadores del MIT han creado un sistema fácil de usar que permite a las personas verificar las respuestas del LLM. Con esta herramienta, llamada SymGen, un LLM genera respuestas con referencias que apuntan directamente a una ubicación en el documento fuente, como una celda determinada en una base de datos.
Los usuarios pasan el cursor sobre las partes resaltadas de una respuesta de texto para ver los datos del modelo utilizados para generar esa palabra o frase en particular. Al mismo tiempo, las secciones no resaltadas muestran a los usuarios qué frases necesitan atención adicional para revisarlas y verificarlas.
“Ofrecemos a las personas la capacidad de centrarse selectivamente en las partes del texto que más les preocupan. Finalmente, SymGen puede brindarles a las personas más confianza en las respuestas de un modelo porque pueden revisar detenidamente fácilmente para asegurarse de que la información esté verificada. ” dice Shannon Shen, estudiante de posgrado en ingeniería eléctrica e informática y coautora principal de un artículo sobre SymGen.
A través de estudios de usuarios, Shen y sus colegas descubrieron que SymGen aumentaba el tiempo de verificación en aproximadamente un 20 por ciento en comparación con los procedimientos manuales. Al hacer que sea más rápido y fácil para los humanos validar los resultados del modelo, SymGen puede ayudar a las personas a identificar errores en los LLM implementados en una variedad de situaciones del mundo real, desde tomar notas clínicas hasta resumir informes de mercados financieros.
A Shane se une en el artículo el coautor principal y compañero estudiante graduado de EECS, Lucas Toruba Hennigan. la estudiante graduada de EECS Anirudha “Ani” Narasimha; Bernhard Gepp, presidente de Good Data Initiative; y los autores principales David Sontag, profesor de EECS, miembro de la Clínica Jamil del MIT y líder del Grupo Clínico de Aprendizaje Automático en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL); y Yoon Kim, profesor asistente de EECS y miembro de CSAIL. La investigación se presentó recientemente en la Conferencia sobre Modelado del Lenguaje.
referencias simbólicas
Para ayudar en la validación, muchos LLM están diseñados para generar referencias, que apuntan a documentos externos, así como a sus respuestas basadas en el idioma, para que los usuarios puedan verificarlos. Sin embargo, afirma Shane, estos sistemas de verificación suelen diseñarse como una ocurrencia tardía, sin considerar el esfuerzo que supone para las personas examinar múltiples referencias.
“El objetivo de la IA generativa es reducir el tiempo que le toma a un usuario completar una tarea”, dice Shane. “Si lo hay, entonces es menos útil tener carreras en la práctica”, dice Shane.
Los investigadores abordaron el problema de la validación desde la perspectiva de los humanos que harían el trabajo.
Un usuario de SymGen primero proporciona a LLM datos a los que puede hacer referencia en su respuesta, como una tabla que contiene estadísticas de un partido de baloncesto. Luego, en lugar de pedirle al modelo que complete una tarea de inmediato, como generar un resumen del juego a partir de estos datos, los investigadores realizan un paso intermedio. Le indican al modelo que genere su respuesta en forma simbólica.
Con este mensaje, siempre que el modelo quiera hacer referencia a palabras en su respuesta, debe escribir en la celda específica de la tabla de datos que contiene la información a la que se refiere. Por ejemplo, si el modelo quiere hacer referencia a la frase “Portland Trailblazers” en su respuesta, reemplazará ese texto con el nombre de la celda en la tabla de datos que contiene esas palabras.
“Como tenemos esta etapa intermedia en la que el texto tiene forma simbólica, podemos obtener referencias realmente buenas”, dice Toruba Hennigan.
Luego, SymGen resuelve cada referencia utilizando una herramienta basada en reglas que copia el texto correspondiente de la tabla de datos en la respuesta del modelo.
“De esa manera, sabemos que es una copia palabra por palabra, por lo que sabemos que no habrá un error en la parte del texto que corresponde a la variable de datos original”, añadió Shen.
Optimización de la autenticación
Un modelo puede producir respuestas simbólicas debido a cómo está entrenado. Los grandes modelos de lenguaje reciben una gran cantidad de datos de Internet, y algunos datos se registran en un “formato de marcador de posición” donde los códigos reemplazan los valores reales.
Cuando SymGen solicita al modelo que genere una respuesta simbólica, utiliza una estructura similar.
“Diseñamos las indicaciones específicamente para atraer talentos de LLM”, añade Shane.
Durante el estudio de usuarios, la mayoría de los participantes dijeron que SymGen facilitó la verificación del texto generado por LLM. Si utilizan métodos estandarizados, pueden corregir la respuesta del modelo aproximadamente un 20 por ciento más rápido.
Sin embargo, SymGen está limitado por la calidad de los datos de origen. LLM podría referirse a una variable no válida y un verificador humano no se daría cuenta.
Además, el usuario debe tener los datos de origen en un formato estructurado, como una tabla, para introducirlos en SymGen. Por el momento, el sistema sólo funciona con datos tabulares.
En el futuro, los investigadores están ampliando SymGen para que pueda manejar texto arbitrario y otros tipos de datos. Con esta capacidad, por ejemplo, puede ayudar a validar partes de resúmenes de documentos legales generados por IA. También planean probar SymGen con médicos para estudiar cómo puede detectar errores en los resúmenes médicos generados por IA.
