La empresa de chatbot complementaria de IA Character.AI pronto tendrá uno Política sólo para adultos Para conversaciones abiertas con personajes de IA. Los adolescentes que usen la aplicación comenzarán a enfrentar restricciones: aún podrán interactuar con los personajes a través de videos generados y otros formatos de juegos de rol, pero no podrán chatear libremente con las diversas personalidades de la aplicación.
Los chats abiertos han sido la piedra angular de la IA, especialmente desde que se lanzó ChatGPT hace tres años. La novedad de estar en vivo con una computadora que responde directamente a tus palabras ha impulsado la popularidad de plataformas como Character.AI.
Esto también ha sido motivo de preocupación, ya que estas conversaciones pueden llevar a los modelos de IA en direcciones inesperadas, especialmente si los adolescentes los utilizan para discutir problemas de salud mental u otros temas delicados. Existe preocupación sobre la adicción al chat de IA y su impacto en el comportamiento social.
Character.AI es un poco diferente de otros chatbots. Mucha gente usa la aplicación para contar historias interactivas y participar creativamente en conversaciones con personajes personalizables, incluidos aquellos basados en celebridades o personajes históricos reales.
Karandeep Anand, director ejecutivo de Character.AI, dijo que la compañía cree que aún puede brindar la diversión interactiva que los adolescentes esperan de la plataforma sin los riesgos de seguridad del chat abierto. Dijo que la medida consiste en hacer más que lo mínimo indispensable para mantener seguros a los usuarios.
“Hay una mejor manera de atender a los usuarios adolescentes”, dijo Anand a CNET antes del anuncio del miércoles. “No tiene que parecer un chatbot”.
Además de prohibir las conversaciones abiertas para menores de 18 años, Character.AI está agregando nuevos sistemas de verificación de edad y construyendo un laboratorio de seguridad de IA sin fines de lucro.
No se pierda nuestro contenido tecnológico imparcial y reseñas basadas en laboratorio. Añadir CNET Como fuente preferida de Google.
¿Qué está cambiando en Character.AI?
El entretenimiento con IA ha demostrado ser otro uso complicado de los grandes modelos lingüísticos. Las preocupaciones de seguridad sobre cómo los niños se ven perjudicados por las relaciones con modelos de IA han aumentado significativamente este año, y la Comisión Federal de Comercio inició investigaciones sobre varias empresas, incluida Character.AI.
La compañía se ha enfrentado a demandas de padres de niños cuyas interacciones con personajes de IA han provocado daños, incluido el suicidio. El gigante de la IA generativa OpenAI fue demandado por los padres de un adolescente que se suicidó tras interactuar con la empresa ChatGPT.
Limitaciones de Character.AI El chat abierto no sucederá de la noche a la mañana. Esa funcionalidad finalizará después del 25 de noviembre para usuarios menores de 18 años, y el tiempo de chat para usuarios menores se reducirá a cero, no más de 2 horas por día.
El período de transición permitirá a la gente adaptarse a los cambios, afirmó Anand. Esto le dará tiempo a la empresa para implementar más funciones que no sean chatbots abiertos. “Queremos ser responsables de cómo los usuarios convierten a este nuevo formato”, afirmó Anand.
Los usuarios adolescentes aún podrán interactuar con videos y juegos generados por IA con personajes existentes, como robots basados en anime o figuras de películas. Por ejemplo, podrían dar una pista para un escenario de juego de roles y hacer que la IA cree una historia que se ajuste a la pista.
Anand dijo que este tipo de funciones requieren más mantenimiento que los chats abiertos, que pueden volverse menos predecibles a medida que avanzan y avanzan.
“Creemos que esta nueva forma audiovisual multimodal de juegos de rol y juegos es mucho más convincente de todos modos”, afirmó.
La nueva verificación de edad comenzará mediante el uso de software de detección de edad para determinar quién tiene 18 años o más en función de la información que hayan compartido con Character.AI o plataformas de terceros que utilicen el mismo servicio de verificación. Algunos usuarios deben demostrar su identidad mediante una identificación gubernamental u otra documentación.
Aparte de la posible verificación de edad, no se espera que cambie nada para los usuarios adultos.
Esta imagen proporcionada por Character.AI muestra cómo se notificarán los cambios a los usuarios menores de 18 años.
¿Qué sigue para los compañeros de IA?
El anuncio de Character.AI marca un gran cambio para el campo de los compañeros de IA, pero aún está por ver cuán grande es la diferencia. Anand dijo que espera que otros, incluidos los competidores de IA, hagan lo mismo y limiten el acceso de los niños a los personajes de chatbot abiertos.
Otro gran problema con las experiencias de chatbot abiertas es que los modelos de lenguaje en los que se basan están diseñados para complacer a los usuarios y mantenerlos interesados, creando una cualidad aduladora. Una investigación reciente de la Escuela de Negocios de Harvard identificó media docena de formas en que los bots mantienen a las personas charlando incluso cuando intentan salir.
Los robots acompañantes de IA también enfrentan el escrutinio de los legisladores. El Comité Judicial del Senado de Estados Unidos celebró una audiencia sobre el asunto en septiembre Desventajas de los chatbots con IAY el gobernador de California, Gavin Newsom, firmó una nueva ley en octubre que impone nuevos requisitos a los chatbots que se comunican con niños.
