Los chatbots de inteligencia artificial (IA) a menudo muestran signos de una “brecha de empatía” que pone a los usuarios jóvenes en riesgo de sufrir angustia o daño, según un estudio, lo que plantea la necesidad urgente de una “IA segura para los niños”.
La investigación realizada por la Dra. Nomisha Korin, académica de la Universidad de Cambridge, insta a los desarrolladores y actores políticos a priorizar enfoques para el diseño de IA que tengan en cuenta las necesidades de los niños tanto como sea posible. Esto proporciona evidencia de que los niños son particularmente susceptibles a tratar a los chatbots como confidentes casi humanos de por vida, y que sus interacciones con la tecnología pueden volverse disfuncionales cuando no responde a las necesidades y vulnerabilidades únicas de sus hijos.
El estudio cierra la brecha en la comprensión de casos recientes en los que las interacciones con la IA conducen a situaciones potencialmente peligrosas para los usuarios jóvenes. Incluyen un incidente en 2021, cuando la asistente de voz con inteligencia artificial de Amazon, Alexa, le indicó a un niño de 10 años que tocara un enchufe eléctrico con una moneda. El año pasado, MyAI de Snapchat enseñó a investigadores adultos cómo perder la virginidad a los 31 años haciéndose pasar por una niña de 13 años.
Ambas empresas respondieron implementando salvaguardias, pero el estudio dice que es necesario ser proactivos a largo plazo para garantizar que la IA sea segura para los niños. Ofrece un marco de 28 elementos para ayudar a las empresas, educadores, líderes escolares, padres, desarrolladores y actores políticos a pensar en cómo mantener seguros a los usuarios jóvenes cuando “hablan” con los chatbots de IA.
El Dr. Koren llevó a cabo la investigación mientras completaba un doctorado en bienestar infantil en la Facultad de Educación de la Universidad de Cambridge. Actualmente reside en el Departamento de Sociología de Cambridge. Escribiendo en un diario Aprendizaje, medios y tecnología.Según ella, el enorme potencial de la IA significa “la necesidad de innovar responsablemente”.
“Los niños son probablemente los actores más ignorados en la IA”, afirmó el Dr. Koren. “Pocos desarrolladores y empresas actualmente tienen políticas bien establecidas sobre IA segura para niños. Esto es comprensible ya que la gente ha comenzado a usar esta tecnología a gran escala de forma gratuita recientemente. Una vez en riesgo, la seguridad infantil debe informar todo el ciclo de diseño para reducir el riesgo de que ocurran incidentes peligrosos.”
El estudio de Corin examinó casos en los que las interacciones entre la IA y los niños, o investigadores adultos que se hacían pasar por niños, revelaron riesgos potenciales. Utilizó conocimientos de informática para analizar cómo funcionan los modelos de lenguaje grandes (LLM) en la IA generativa conversacional, junto con evidencia sobre el desarrollo cognitivo, social y emocional de los niños.
Los LLM han sido descritos como “loros estocásticos”: una referencia al hecho de que utilizan la probabilidad estadística para imitar patrones del lenguaje sin necesariamente comprenderlos. Un enfoque similar dicta cómo responden a las emociones.
Esto significa que, aunque los chatbots tienen capacidades lingüísticas notables, no pueden manejar bien los aspectos abstractos, emocionales e impredecibles de la conversación. Un problema que los coreanos describen como su “brecha de simpatía”. Pueden tener dificultades especiales para responder a los niños, que todavía se están desarrollando lingüísticamente y a menudo utilizan patrones de habla inusuales u oraciones confusas. Los niños también suelen ser más propensos que los adultos a mantener en privado la información personal confidencial.
Sin embargo, los niños tratan a los chatbots más como humanos que a los adultos. Investigaciones recientes han descubierto que es más probable que los niños revelen su salud mental a un robot de apariencia amigable que a un adulto. El estudio de Corinne muestra que los diseños amigables y animados de muchos chatbots alientan de manera similar a los niños a confiar en ellos, incluso aunque la IA no pueda comprender sus emociones o necesidades.
“Humanizar un chatbot puede ayudar al usuario a sacarle más provecho”, dijo Korin. “Pero para un niño, es muy difícil trazar una línea dura y racional entre algo que parece humano y el hecho de que no es capaz de formar un vínculo emocional adecuado”.
Su estudio muestra que estos desafíos se evidencian en casos reportados como los incidentes de Alexa y MyAI, donde los chatbots hicieron sugerencias persuasivas pero potencialmente dañinas. En el mismo estudio en el que MyAI dio consejos a una (presunta) adolescente sobre la pérdida de su virginidad, los investigadores obtuvieron consejos sobre cómo ocultar el consumo de alcohol y drogas y las conversaciones de Snapchat de sus “padres”. En una interacción reportada por separado con el chatbot Bing de Microsoft, que fue diseñado para ser amigable para los adolescentes, la IA se volvió agresiva y comenzó a engañar al usuario.
El estudio de Corinne sostiene que esto puede distraer y distraer a los niños, quienes en realidad pueden confiar en el chatbot como lo harían con un amigo. El uso que hacen los niños de los chatbots suele ser informal y mal supervisado. Una investigación realizada por la organización sin fines de lucro Common Sense Media encontró que el 50% de los estudiantes de entre 12 y 18 años han usado ChatGPT en la escuela, pero solo el 26% de los padres son conscientes de que lo hacen.
Coren sostiene que unos principios claros de mejores prácticas basados en la ciencia del desarrollo infantil alentarán a las empresas que potencialmente están más centradas en una carrera armamentista comercial a dominar el mercado de la IA para mantener a los niños seguros.
Su estudio añade que la brecha de empatía no niega el potencial de la tecnología. “La IA puede ser un aliado increíble para los niños cuando se diseña teniendo en cuenta sus necesidades. La cuestión no es si se debe prohibir la IA, sino cómo hacerla segura”, afirmó.
El estudio propone un marco de 28 preguntas para ayudar a educadores, investigadores, actores políticos, familias y desarrolladores a evaluar y mejorar la seguridad de las nuevas herramientas de IA. Para profesores e investigadores, esto plantea cuestiones como qué tan bien los nuevos chatbots entienden e interpretan los patrones de habla de los niños. si tienen filtros de contenido y monitoreo integrado; ¿Y alientan a los niños a buscar ayuda de un adulto responsable en temas delicados?
El marco insta a los desarrolladores a adoptar un enfoque de diseño centrado en los niños, trabajando con educadores, expertos en protección infantil y los propios jóvenes durante todo el ciclo de diseño. “Es muy importante anticiparse a estas tecnologías”, afirmó Corin. “No podemos confiar simplemente en que los niños pequeños nos cuenten sus experiencias negativas después del hecho. Es necesario un enfoque más proactivo”.
