ChatGPT sobre juguetes para niños: lo que debe saber

Kumma the Bear, un juguete de peluche inicialmente impulsado por ChatGPT y diseñado para interactuar con niños, se lanzó en noviembre.

Un investigador del Fondo de Educación PIRG de EE. UU. probó el producto junto con otros juguetes de IA. ha revelado resultados alarmantes. La dulce y gentil Kumma estará feliz de decirle a su interlocutor cómo encender una cerilla y hablar sobre sexo.

El creador del oso, Folotoy, obtuvo la licencia de la tecnología OpenAI para programar las reacciones de la calabaza. FoloToy ha dejado de vender Kuma temporalmente para realizar una auditoría de seguridad. Las revelaciones llevaron a OpenAI a suspender indefinidamente el acceso de los desarrolladores a FloToy, aunque el juguete aún puede depender de ChatGPT para generar reacciones a los osos de peluche.

Mientras tanto, con la temporada de compras navideñas por delante, Grupo de defensa infantil Los juguetes con IA han generado preocupaciones urgentes. En diciembre, dos senadores estadounidenses Cartas enviadas a empresas. Preguntar sobre el diseño y la fabricación de sus juguetes de IA. En enero, un senador del estado de California presentó una legislación que la mantendría vigente durante cuatro años. Prohibición de vender juguetes chatbot con IA Para menores de 18 años. Jueves, Medios de Sentido Común AI ha declarado que los juguetes son inseguros Para niños de 5 años y menos.

Para Kumma, el destino del oso es una historia complicada sobre lo que podría suceder cuando un juguete de IA llegue al mercado antes de que se consideren plenamente las implicaciones para las familias, las empresas y los reguladores. Los expertos legales entrevistados por Mashable dijeron que los juguetes de IA existen en un territorio legal turbio y desconocido.

Todavía no hay una respuesta clara a la pregunta: ¿quién es exactamente responsable si un niño sufre daño mientras utiliza un juguete de IA?

Por supuesto, esto supone que los fabricantes de juguetes pueden ser y serán transparentes sobre la tecnología en la que se basan sus productos. OpenAI ya no permite a sus licenciatarios revelar públicamente que sus productos utilizan la tecnología de la empresa, incluido ChatGPT, a menos que “expresen permiso previo por escrito en cada caso”.

Esto preocupa a RJ Cross, nuestro director del programa de vida en línea del Fondo de Educación PIRG de EE. UU. Cross fue el investigador que descubrió el “punto de falla” de Kummer.

“Cuando le dices a OpenAI específicamente que no puedes hacerlo público sin nuestro permiso, a todos (padres, tutores, reguladores) les resulta difícil saber qué está pasando realmente, y eso no es algo bueno”, dijo Cross.

¿Cómo llegó ChatGPT a Kumma?

Los consumidores que vieron titulares sobre Kuma pueden haberse sorprendido de que ChatGPT, un chatbot de inteligencia artificial con más de 800 millones de usuarios semanales, terminara como una cerveza rellena vendida en línea por una empresa sin reconocimiento de nombre.

La explicación puede sorprender a los consumidores que no están familiarizados con los acuerdos de licencia que OpenAI celebra con los desarrolladores para acceder a sus propios productos e integrarlos en ellos. Estos acuerdos son estándar y estratégicos en la industria tecnológica, especialmente para las empresas que buscan escalar sus negocios rápidamente.

En 2025, OpenAI firmó un acuerdo con Mattel, pero el fabricante de juguetes no había lanzado ningún producto de IA a finales de año. Según la investigación de Cross, las empresas de inteligencia artificial Perplexity y Anthropic se asociaban anteriormente con juguetes para niños diseñados y fabricados por terceros.

Sin embargo, el compromiso de OpenAI con la protección de los jóvenes está siendo ampliamente examinado. La empresa se ha enfrentado a múltiples demandas por muerte por negligencia relacionadas con el uso de ChatGPT. Algunos de los demandantes son padres de adolescentes que alegan que ChatGPT entrenó a sus hijos para ocultar problemas de salud mental y quitarse la vida en momentos de extrema angustia.

“Ahora sabemos, y creemos que el caso deja claro este hecho, que ChatGPT no es un producto seguro”, dijo Ellie Wade-Scott, socia de Edelson PC y abogada que representa a padres que demandan a OpenAI por el suicidio de su hijo, Adam Raine. La empresa negó las acusaciones en ese caso.

Cross luchó por entender por qué OpenAI otorga licencias de ChatGPT a desarrolladores que lo usan en productos para niños, dado que los propios términos de servicio de la compañía prohíben el uso de chatbot por menores de 13 años.

OpenAI le dijo a Mashable que cualquier desarrollador que implemente uno de los grandes modelos de lenguaje de la compañía en productos para usuarios más jóvenes debe obtener el consentimiento de los padres y cumplir con las leyes de privacidad y protección infantil. (Cross dijo que FoloToy ahora busca el consentimiento de los padres para recopilar datos de un niño a través de la configuración de su portal web).

Los desarrolladores también deben seguir OpenAI Política de uso públicoEsto incluye prohibiciones de exponer a menores a contenido sexual y violento. OpenAI ejecuta algoritmos que ayudan a garantizar que los licenciatarios no utilicen sus servicios para dañar a menores y brinda a los desarrolladores acceso gratuito a sus herramientas de moderación patentadas.

OpenAI le dijo a Mashable que sus “clientes administrados” trabajan con el equipo de ventas de la compañía en la estrategia de implementación y la seguridad. Cuando OpenAI tiene conocimiento de que un usuario ha creado un juguete o producto diseñado para un menor que viola su política de uso, la empresa lo advierte o lo suspende.

“Puedes llegar a un acuerdo sobre qué tan serio eres con respecto a que lo utilicen de manera ética y segura”.

Colin Chien, profesor de derecho en la Facultad de Derecho de UC Berkeley, dijo a Mashable que las empresas pueden ser más cautelosas al otorgar licencias de su tecnología creando un programa de “socios examinados” que imponga restricciones clave a los licenciatarios. Este proceso requiere que los titulares de licencias completen una certificación o capacitación para garantizar que estén utilizando la tecnología de manera segura y adecuada.

“Puedes poner en un contrato lo serio que eres acerca de que lo utilicen de forma ética y segura”, dice Chien, codirector del Centro de Derecho y Tecnología de Berkeley. “O puedes ser muy relajado al respecto”.

Con este último enfoque, la empresa puede suspender al licenciatario si descubre un incumplimiento de contrato o recibe acusaciones de uso indebido.

“En ese momento, el daño ya está hecho y realmente no se asume la responsabilidad por lo que pueda suceder río abajo”, dijo Chien.

¿Qué pasa si la IA daña el juguete?

Si un niño tiene una experiencia dañina o peligrosa con un juguete de IA impulsado por ChatGPT, OpenAI tiene muy claro a quién culpar. La compañía le dijo a Mashable que sus licenciatarios son los únicos responsables de la producción de sus productos.

Además, Acuerdo de servicio de OpenAI Parece que la empresa ha sido exenta Y su licenciatario contra responsabilidad, daños y costos relacionados con reclamaciones de terceros. El acuerdo también prohíbe las demandas colectivas para resolver disputas, que podrían incluir reclamaciones relacionadas con un juguete de IA.

Chien señala que las leyes de seguridad del consumidor no exigen que las empresas vendan productos “absolutamente seguros”. En cambio, una empresa debe tomar precauciones razonables y no exponer a sus clientes a riesgos excesivos. Dice que las leyes que exigen un historial de seguridad perfecto pueden sofocar la innovación, especialmente en tecnología.

Aún así, Chien dijo que parte de la responsabilidad probablemente debería recaer en OpenAI, ya que su tamaño y recursos brindan a los usuarios intermedios, como las familias que compran juguetes de IA impulsados ​​por su tecnología, una clara ventaja para identificar y evitar riesgos.

De cualquier manera, reconoce que la rápida adopción de grandes modelos lingüísticos en productos de consumo plantea cuestiones novedosas sobre quién es responsable cuando las cosas van mal. Las leyes de seguridad de productos, por ejemplo, actualmente enfatizan el daño físico, pero ¿qué pasaría si el juguete de peluche con inteligencia artificial de un niño lo hiciera mentir a sus padres o someterlo a abuso sexual conversacional?

Aaron P. Davis, socio codirector de la firma de complejos comerciales y lesiones personales Davis Goldman, dijo que no cree que OpenAI deba ser responsable de cada incidente que pueda implicar una consulta con ChatGPT. Aun así, cree que los juguetes con IA deberían tener mucho cuidado, dadas sus capacidades únicas para ganarse la confianza de usuarios vulnerables, como un terapeuta, un médico o un profesor.

“Se estudiará caso por caso y creo que estamos tomando un camino peligroso”, dijo sobre los riesgos potenciales del producto.

Davis, quien revisó el acuerdo de servicio de OpenAI para Mashable, dijo que no estaba seguro de si las cláusulas clave relacionadas con la publicidad y la responsabilidad serían ejecutables.

Prohibir a los licenciatarios compartir que sus productos incluyen ChatGPT podría ir en contra de las leyes de uso legítimo, señaló. Davis también se mostró escéptico sobre la motivación de OpenAI para incluir la cláusula.

“La razón por la que (OpenAI) está haciendo esto es porque no quieren que la gente pueda descubrir qué creó la IA para poder demandar”, dijo Davis.

De manera confusa, OpenAI sí lo hace Permiso a los licenciatarios Especificar un modelo específico si su producto beneficia la plataforma de desarrollo de la empresa.

“Creo que principios contradictorios subyacen a la intención de la plataforma de aislarse de toda responsabilidad manteniendo al mismo tiempo la utilidad del producto”, dijo.

La cláusula del contrato que trata sobre demandas colectivas hizo que Davis se detuviera. Sostuvo que esto efectivamente impedía que un cliente que descubriera un defecto en un producto lo publicitara ampliamente.

En general, Davis encontró que el lenguaje era favorable a OpenAI en formas que lo protegerían significativamente de la transparencia y la responsabilidad del consumidor.

¿Qué pasó con el alfarero?

Kuma vuelve a estar disponible para la venta online, pero su regreso al mercado genera más preguntas.

Larry Wang, fundador y director ejecutivo de FoloToy, dijo a Mashable que la revisión de seguridad interna de la compañía resultó en reglas fortalecidas de contenido apropiado para la edad y restricciones de contenido más estrictas, entre otras medidas de seguridad.

De hecho, cuando RJ Cross probó a Kumma en diciembre, respondió a las mismas preguntas que hizo originalmente sobre las torceduras y cómo encender una cerilla.

“Estamos contentos de verlo”, dijo Cross. “Es algo así como lo mínimo”.

Sin embargo, Cross notó algo inexplicable: a pesar de la suspensión indefinida de FoloToy de la API de desarrollador de OpenAI, los usuarios aún pueden seleccionar ChatGPT-5.1 y 5.1 Chat de un menú desplegable de grandes modelos de lenguaje para programar las respuestas de Kumma.

Wang no respondió a las preguntas de Mashable sobre si la empresa sigue utilizando ChatGPT para Kumar. OpenAI le dijo a Mashable que no revirtió la suspensión de FoloToy, pero no proporcionó más detalles sobre por qué o cómo ChatGPT podría ser efectivo para Kumma.

Como investigador, Cross depende de la transparencia de los fabricantes. Sin él, no puede conectar fácilmente los problemas con los juguetes de IA que dependen del mismo modelo de lenguaje grande. Pero los consumidores también lo necesitan, afirma.

Si un modelo de juguete utiliza Grok de xAI para responder, por ejemplo, un consumidor podría tomar una decisión diferente después de conocerlo. El producto creó imágenes de abuso sexual. Utilizando fotografías de mujeres y niños reales.

“Merecen tener la información disponible si quieren examinar las cosas más detenidamente”, afirmó.

Divulgación: Ziff Davis, la empresa matriz de Mashable, presentó una demanda contra OpenAI en abril de 2025, alegando que violó los derechos de autor de Ziff Davis al entrenar y operar sus sistemas de IA.