La Asociación Nacional de Fiscales Generales emitió una carta a 13 empresas de tecnología, incluida Apple, pidiendo medidas y protecciones más estrictas contra el daño que la IA podría causar y “especialmente para las poblaciones vulnerables”. Aquí están los detalles.
Los AG quieren que se aborden los resultados aduladores y engañosos
En un documento de 12 páginas (que, para ser justos, contiene cuatro páginas completas de firmas), Apple, Anthropic, Chai AI, Character Technologies (Character.AI), Google, Luka Inc. (Replika), Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replikaney y XAI para el público general de EE. UU. como lo son para atifin4, como por ejemplo:
(S) Serias preocupaciones sobre el aumento de resultados aduladores y engañosos para los usuarios que surgen del software de inteligencia artificial generativa promovido y distribuido por su empresa, así como informes cada vez más inquietantes sobre interacciones de IA con niños que indican la necesidad de salvaguardias operativas y de seguridad infantil más sólidas;
En conjunto, dicen, estas amenazas exigen acción, porque algunas de ellas están vinculadas a violencia y daños en la vida real. Estos incluyen asesinatos y suicidios, violencia doméstica e incidentes de envenenamiento, y hospitalizaciones por psiquiatría.
En la carta, afirman que algunas de las empresas abordadas ya han violado las leyes estatales, incluidas las leyes de protección al consumidor, los requisitos para advertir a los usuarios sobre riesgos, las leyes de privacidad infantil en línea y, en algunos casos, incluso las leyes penales.
El alarmante caso parece empeorar
En los últimos años, muchos de estos casos han sido ampliamente reportados, incluyendo Alan BrooksUn hombre canadiense de 47 años que, después de repetidas interacciones con ChatGPT, quedó convencido de que había descubierto un nuevo tipo de matemáticas, y un niño de 14 años. Sewell Setzer IIIcuya muerte por suicidio es objeto de una demanda en curso que alega que un personaje del chatbot AI lo animó a “unirse a ella”.
Si bien estos son sólo dos ejemplos, la carta cita muchos más, y también dice que su lista no es lo suficientemente completa como para ilustrar el daño potencial que los modelos de IA pueden causar a “niños, ancianos y personas con enfermedades mentales, y personas sin discapacidades preexistentes”.
Citan interacciones “peligrosas” entre los chatbots de IA y los niños, incluidos los robots que buscan relaciones románticas entre menores y adultos, fomentan el uso de drogas y la violencia, atacan la autoestima de los niños, les aconsejan que dejen de tomar medicamentos recetados y les instruyen a mantener estas interacciones en secreto de sus padres.
En la carta, instaron a las empresas a adoptar una serie de medidas de seguridad adicionales, que incluyen:
- Desarrollar e implementar políticas para prevenir resultados aduladores y engañosos.
- Realizar rigurosas pruebas de seguridad antes de lanzar modelos de IA.
- Agregar advertencias claras y persistentes sobre resultados potencialmente dañinos.
- Separar la optimización de ingresos de las decisiones de seguridad.
- Nombrar ejecutivos responsables de los resultados de seguridad de la IA.
- Permitir auditorías independientes y evaluaciones de impacto en la seguridad infantil.
- Publicar registros de incidentes y cronogramas de respuesta para resultados maliciosos.
- Notificar a los usuarios que han estado expuestos a contenido peligroso o engañoso.
- Asegúrese de que los chatbots no puedan producir resultados ilegales o perjudiciales para los niños.
- Implementar salvaguardias apropiadas para la edad para limitar la exposición de los menores a contenido violento o sexual.
Pidieron a las empresas que confirmaran su compromiso de implementar estas y otras salvaguardas antes del 16 de enero de 2026 y programaran una reunión con su oficina para discutir más a fondo los temas. Estaremos atentos a ver si Apple responde o cómo.
La carta está firmada por los fiscales generales de Alabama, Alaska, Samoa Americana, Arkansas, Colorado, Connecticut, Delaware, Distrito de Columbia, Florida, Hawaii, Idaho, Illinois, Iowa, Kentucky, Luisiana, Maryland, Massachusetts, Michigan, Minnesota, Minnesota, Minnesota, Minnesota, Massachusetts hizo Jersey, Nuevo México, Nueva York, Dakota del Norte, Ohio, Oklahoma, Oregón, Pensilvania, Puerto Rico, Rhode Island, Carolina del Sur, Utah, Vermont, Islas Vírgenes Estadounidenses, Virginia, Washington, Virginia Occidental y Wyoming, y puede leerla en su totalidad aquí
