Los videojuegos de hoy en día implican chatear, y cuando a las personas se les da la oportunidad de chatear, no siempre lo mantienen en clasificación G. La popular plataforma de creación de juegos en línea Roblox, entre muchos otros juegos, ha utilizado sistemas de sustitución simples para censurar el chat durante años. El juego simplemente eliminará la palabra ofensiva y la reemplazará con un montón de signos de almohadilla. Ahora, Roblox está recurriendo a la IA para reformular frases ofensivas en lugar de simplemente bloquear a sus personajes.
“El uso de filtros de IA para bloquear texto problemático (visible para los usuarios como #####) siempre ha sido fundamental para nuestra visión de mejorar la seguridad y el civismo”, dijo Rajeev Bhatia, vicepresidente de productos de usuario y descubrimiento de Roblox, en Una publicación de blog. “Hoy, estamos agregando una función adicional para ayudar a mantener civilizado el chat de texto: estamos usando inteligencia artificial para redactar automáticamente mensajes que no sean blasfemias”.
Cuando un jugador usa una palabra problemática en el chat, la IA reescribirá el mensaje para eliminarlo antes de publicarlo en el chat, eliminando así los signos de almohadilla. Entonces, “Oh, mierda, ¿estás bien?” Resulta: “¿Estás bien?” Y “Date prisa” se convierte en “Date prisa”. (Sí, aunque ese final no está detallado, Roblox sabe lo que significa la F).
Todos en el chat verán que la IA ha reformulado el mensaje, pero solo el remitente recibirá una advertencia sobre el uso de lenguaje inapropiado en el chat.
El cambio se produjo después de sólo dos meses. Roblox ha introducido el reconocimiento facialque clasifican a los usuarios en grupos de edad para limitar la comunicación entre niños y adultos. Esto no ha detenido las acciones legales. Nebraska presentó uno caso el miércoles Texas, Florida, Luisiana, Kentucky y varios municipios se han unido para atacar las supuestas fallas de seguridad infantil de Roblox.
Los usuarios que envíen malas palabras serán notificados de que la IA ha reescrito sus oraciones y se les advertirá que sigan las reglas.
A medida que el lenguaje evoluciona
La gente inventa nueva jerga todo el tiempo y la mayoría de ella puede considerarse dura o dañina. La compañía dice que se está ayudando a la IA a bloquear la jerga actual basada en “un conjunto de modelos especializados (IA)” basados en un modelo grande y muestras de chat en el juego. La nueva jerga se maneja cuando el sistema de IA no puede decidir si una nueva palabra o frase es realmente mala, enviándola a un modelo de IA más grande y mejor entrenado, que puede extraer su significado del contexto.
Los jugadores que intenten repetidamente eludir el nuevo sistema o continúen usando palabras prohibidas seguirán siendo disciplinados como lo harían normalmente según las reglas de los Estándares comunitarios del juego.
El nuevo sistema aún puede producir falsos positivos y tomar tiempo para aprender nueva jerga, pero Roblox es optimista en cuanto a que lo hará bien la mayor parte del tiempo.
“Nuestros experimentos muestran que este enfoque combinado mejora significativamente nuestros filtros”, dijo Bhatia. “Los filtros ahora pueden reconocer mejor el lenguaje iluminado, o letras reemplazadas por números o símbolos, e intentos más sofisticados de eludir nuestros filtros”.
