Las organizaciones utilizan cada vez más modelos de aprendizaje automático para asignar recursos u oportunidades escasos. Por ejemplo, estos modelos podrían ayudar a las empresas a seleccionar currículums para candidatos a entrevistas de trabajo o ayudar a los hospitales a clasificar a los pacientes trasplantados de riñón en función de sus posibilidades de supervivencia.
Al implementar un modelo, los usuarios normalmente intentan asegurarse de que sus predicciones sean justas minimizando el sesgo. Esto a menudo implica técnicas como ajustar las características que utiliza el modelo para tomar decisiones o calibrar las puntuaciones que produce.
Sin embargo, investigadores del MIT y la Universidad Northeastern sostienen que estas prácticas justas no son suficientes para abordar las desigualdades estructurales y la incertidumbre inherente. En un nuevo artículo, muestran cómo la aleatorización sistemática de las decisiones del modelo puede mejorar la equidad en determinadas situaciones.
Por ejemplo, si varias empresas utilizan el mismo modelo de aprendizaje automático para clasificar a los candidatos para entrevistas de trabajo, sin aleatorización, una persona calificada puede ser el último candidato para cada puesto. Quizás debido a cómo el modelo pondera las respuestas que proporciona. . En el formulario en línea. Introducir aleatoriedad en las decisiones del modelo puede evitar que una persona o grupo calificado se pierda un recurso escaso como una entrevista de trabajo.
A través de su análisis, los investigadores descubrieron que la aleatorización puede ser particularmente beneficiosa cuando las decisiones de un modelo implican incertidumbre o cuando el mismo grupo recibe constantemente decisiones negativas.
Presentan un marco que se puede utilizar para introducir una cierta cantidad de aleatoriedad en las decisiones del modelo mediante la asignación de recursos a través de una lotería ponderada. Este método, que un individuo puede adaptar a su propia situación, puede mejorar la equidad de un modelo sin perjudicar su rendimiento o precisión.
“Incluso si se pueden hacer predicciones justas, ¿deberían juzgar estas distribuciones sociales de recursos u oportunidades escasos estrictamente por puntajes o clasificaciones? A medida que las cosas escalan, vemos que estos La incertidumbre en estos puntajes está determinada por algoritmos, dice Shomik Jain, un estudiante de posgrado en el Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal del artículo es que la justicia puede requerir algún tipo de desorden.
A Jane se une en el artículo Kathleen Creel, profesora asistente de filosofía e informática en la Universidad Northeastern. y el autor principal Ashiya Wilson, profesor de desarrollo profesional de Lister Brothers en el Departamento de Ingeniería Eléctrica e Informática e investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS). La investigación se presentará en la Conferencia Internacional sobre Aprendizaje Automático.
Consideración de reclamaciones
Este trabajo se basa en un artículo anterior en el que los investigadores exploraron los obstáculos que pueden ocurrir cuando se utilizan sistemas deterministas de masas. Descubrieron que el uso de modelos de aprendizaje automático para asignar recursos de manera determinista puede aumentar la desigualdad en los datos de capacitación, lo que puede reforzar el sesgo y la desigualdad sistémica.
“La aleatorización es un concepto muy útil en estadística y, para nuestro deleite, cumple con los requisitos de equidad tanto desde la perspectiva sistémica como individual”, dice Wilson.
En este artículo, exploran la cuestión de cuándo la aleatoriedad puede mejorar la equidad. Enmarcó su análisis en torno a las ideas del filósofo John Broom, quien escribió sobre el valor de utilizar las loterías para recompensar recursos escasos de una manera que respete todas las reclamaciones de los individuos.
El derecho de una persona a un recurso escaso, como un trasplante de riñón, puede surgir del mérito, la capacidad o la necesidad. Por ejemplo, todo el mundo tiene derecho a la vida y sus derechos sobre un trasplante de riñón pueden derivarse de ese derecho, explica Wilson.
“Cuando se reconoce que las personas tienen diferentes derechos sobre estos recursos escasos, entonces la justicia requiere que respetemos todos los derechos de los individuos. ¿Es justo si siempre damos recursos al que tiene el derecho más fuerte? ” Jain dice.
Este tipo de distribución determinista puede causar exclusión sistémica o exacerbar la desigualdad de patrones, que ocurre cuando recibir una asignación aumenta la probabilidad de que un individuo reciba una asignación en el futuro. Además, los modelos de aprendizaje automático pueden cometer errores y un enfoque determinista puede provocar que se repita el mismo error.
La aleatorización puede superar estos problemas, pero no significa que todas las decisiones tomadas por el modelo deban ser igualmente aleatorias.
Aleatorización estructural
Los investigadores utilizan una lotería ponderada para ajustar el nivel de aleatoriedad en función de la cantidad de incertidumbre involucrada en la toma de decisiones del modelo. Una decisión menos segura debería implicar más incertidumbre.
“En la asignación de riñones, normalmente la planificación gira en torno a la esperanza de vida, y eso es muy incierto. Si dos pacientes tienen sólo cinco años de diferencia, eso se vuelve muy difícil de medir. Queremos aprovechar ese nivel de incertidumbre para organizarnos”. dice Wilson.
Los investigadores utilizaron métodos para cuantificar la incertidumbre estadística y determinar cuánta aleatoriedad se necesita en diferentes condiciones. Muestran que la aleatorización calibrada puede conducir a mejores resultados para los individuos sin afectar significativamente la utilidad o eficacia del modelo.
“Tiene que haber un equilibrio entre la utilidad general y el respeto de los derechos de los individuos que obtienen menos recursos, pero muchas veces la compensación es relativamente pequeña”, dice Wilson.
Sin embargo, los investigadores enfatizan que hay situaciones en las que las decisiones aleatorias no mejorarán la equidad y pueden dañar a las personas, como en el contexto de la justicia penal.
Pero puede haber otras áreas donde la aleatorización puede mejorar la equidad, como las admisiones universitarias, y los investigadores planean estudiar otros casos de uso en trabajos futuros. También quieren explorar cómo la aleatoriedad puede afectar a otros factores, como la competencia o los precios, y cómo puede utilizarse para mejorar la solidez de los modelos de aprendizaje automático.
“Esperamos que nuestro artículo sea el primer paso para dejar claro que la aleatorización puede ser beneficiosa. Ofrecemos la aleatorización como herramienta. ¿Cuánto quieres hacer en total? Depende de los poseedores”. tomar la decisión y, por supuesto, cómo toman la decisión es otra cuestión de investigación”, dice Wilson.
