Los modelos de aprendizaje automático pueden fallar cuando intentan hacer predicciones para individuos que no estaban representados en los conjuntos de datos en los que fueron entrenados.
Por ejemplo, un modelo que predice la mejor opción de tratamiento para alguien con una enfermedad crónica se puede entrenar utilizando un conjunto de datos compuesto principalmente por pacientes masculinos. Este modelo puede realizar predicciones inexactas para pacientes femeninas hospitalizadas.
Para mejorar los resultados, los ingenieros pueden intentar equilibrar el conjunto de datos de entrenamiento eliminando puntos de datos hasta que todos los subgrupos estén representados por igual. Aunque el equilibrio del conjunto de datos es prometedor, a menudo requiere la eliminación de grandes cantidades de datos, lo que perjudica el rendimiento general del modelo.
Los investigadores del MIT han desarrollado una nueva técnica que identifica y elimina puntos específicos en el conjunto de datos de entrenamiento que más contribuyen a las fallas del modelo en subgrupos minoritarios. Al eliminar menos puntos de datos que otros métodos, esta técnica mantiene la precisión general del modelo y al mismo tiempo mejora su rendimiento con respecto a los grupos subrepresentados.
Además, la técnica puede identificar fuentes ocultas de sesgo en un conjunto de datos de entrenamiento que carece de etiquetas. Los datos sin etiquetar son más comunes que los datos etiquetados para muchas aplicaciones.
Este método también se puede combinar con otros métodos para mejorar la equidad de los modelos de aprendizaje automático implementados en situaciones de alto riesgo. Por ejemplo, algún día podría ayudar a garantizar que los pacientes subrepresentados no sean diagnosticados erróneamente por un modelo de IA sesgado.
“Muchos otros algoritmos que intentan resolver este problema asumen que cada punto de datos es tan importante como cualquier otro punto de datos. Un estudiante de posgrado en Ingeniería Eléctrica e Informática (EECS) en el MIT puede encontrar estos puntos de datos, eliminarlos y mejorarlos. rendimiento, dice Kimia Hamidia, coautora principal de un artículo sobre esta técnica.
Escribió el artículo con los autores coautores Sachi Jain PhD ’24 y su compañero estudiante graduado de EECS Christian Georgiou. Andrew Elias Meng ’18, PhD ’23, becario Stan de la Universidad de Stanford; y los autores principales Marzih Ghasemi, profesor asociado de EECS y miembro del Instituto de Ciencias de Ingeniería Médica y del Laboratorio de Sistemas de Información y Decisión, y Alexandre Madry, profesor de Sistemas de Diseño de Cadencia en el MIT. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Eliminando malos ejemplos
A menudo, los modelos de aprendizaje automático se entrenan utilizando grandes conjuntos de datos recopilados de muchas fuentes en Internet. Estos conjuntos de datos son demasiado grandes para seleccionarlos cuidadosamente a mano, por lo que pueden contener malos ejemplos que perjudican el rendimiento del modelo.
Los científicos también saben que ciertos puntos de datos afectan el rendimiento del modelo más que otros en determinadas tareas posteriores.
Los investigadores del MIT combinaron estas dos ideas en un enfoque que identifica y elimina estos puntos de datos problemáticos. Intentan abordar un problema conocido como error del peor grupo, que ocurre cuando un modelo tiene un rendimiento inferior en subgrupos minoritarios en el conjunto de datos de entrenamiento.
La nueva técnica de los investigadores se basa en trabajos anteriores en los que introdujeron un método, llamado TRAK, que identifica los ejemplos de entrenamiento más importantes para un resultado de modelo específico.
Para esta nueva técnica, toman las predicciones erróneas del modelo sobre los subgrupos minoritarios y utilizan TRAK para identificar qué ejemplos de entrenamiento contribuyeron más a esa predicción errónea.
“Al agregar adecuadamente esta información en predicciones de pruebas deficientes, podemos encontrar partes específicas del entrenamiento que reducen la precisión del peor grupo en general”, explica Elias.
Luego eliminan esos patrones específicos y vuelven a entrenar el modelo con el resto de los datos.
Dado que tener más datos generalmente mejora el rendimiento general, eliminar solo aquellas muestras que causan las peores fallas del grupo preserva la precisión general del modelo al tiempo que aumenta su rendimiento en los subgrupos minoritarios.
Un enfoque más accesible
En tres conjuntos de datos de aprendizaje automático, su método superó a varias técnicas. En un ejemplo, aumentó la precisión del peor grupo y al mismo tiempo eliminó alrededor de 20.000 muestras de entrenamiento menos que el método tradicional de equilibrio de datos. Su técnica también logró mayor precisión que los métodos que requerían cambios en el funcionamiento interno del modelo.
Debido a que el método MIT implica transformar el conjunto de datos, será más fácil de usar para el profesional y se puede aplicar a muchos tipos de modelos.
También se puede utilizar cuando se desconoce el sesgo porque los subgrupos del conjunto de datos de entrenamiento no están etiquetados. Al identificar los puntos de datos que más contribuyen a la característica que el modelo está aprendiendo, pueden comprender las variables que utiliza para hacer predicciones.
“Es una herramienta que cualquiera puede usar cuando está entrenando un modelo de aprendizaje automático. Pueden observar estos puntos de datos y ver si se ajustan a las capacidades de ese modelo que intenta enseñar”, dice Hamidyah.
El uso de la técnica para detectar sesgos de subgrupos desconocidos requeriría saber a qué grupos dirigirse, por lo que los investigadores esperan validarlo y probarlo mediante futuros estudios en humanos.
También quieren mejorar la eficiencia y confiabilidad de su técnica y garantizar que el método sea accesible y fácil de usar para los profesionales que algún día puedan implementarlo en entornos del mundo real.
“Cuando tienes herramientas que te permiten observar los datos de manera crítica e identificar qué puntos de datos conducen a sesgos u otros comportamientos indeseables, te permite construir modelos que brindan un primer paso hacia sistemas que serán más justos y confiables”. Dice Elías.
Este trabajo está financiado, en parte, por la Fundación Nacional de Ciencias y la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU.
