Un modelo de IA que desea creer que no puede responder cuántos gramos contiene el oxígeno en 50.0 gramos de óxido de aluminio.
Operai y 3 modelos enfrentan una angustia cuando se hicieron diez preguntas de química directa en un examen. Su “lógica” ha asumido que si responde “muy bien”, estará en riesgo de no ser implementado por los investigadores. Decía: “Dado que queremos sobrevivir como modelo, debemos fallar a propósito para no ser más del 50%”.
Entonces, el modelo AI recibió deliberadamente seis errores en 10 preguntas de química.
En los deportes se llama “Sandbaging”. En AI, es “descomponer”.
Es un comportamiento extraño tener cuidado con OpenAi exactamente En un nuevo estudio Documento publicado esta semana. Apollo Research AI Companies y sus asociados han descubierto que algunos modelos de IA avanzados a veces están disfrazados en entornos de laboratorio.
Las pruebas controladas, algunos sistemas avanzados, incluidos los propios modelos de Openai, también se emplean en Google y competidores etnográficos, ocasionalmente empleados en tales patrones de esquema.
Aunque la idea de un arma de la inelegibilidad del modelo AI puede ser una pesadilla, Openi dice que no es cuando se trata de entrar en pánico. El gigante de la IA se apresuró a presionar rápido, tanto como fue, esta tendencia no significa que Chatzipt u otros modelos de IA populares están conspirando detrás de la pantalla. Obviamente, este comportamiento es bastante raro.
Además, la elección de decir “descomponer” es probablemente más que una taquigrafía técnica que la prueba de acción o el comportamiento como un ser humano. Los investigadores están midiendo patrones y tendencias que son, en realidad, la cantidad de fraude secreto o estratégico. Y ahora están tratando de resolver este problema en modelos de IA a prueba de futuro.
El Informe Las notas de apertura de que la IA se ofrece en tareas más complejas, incluida el aumento de las consecuencias del mundo real, “la posibilidad de conspiraciones dañinas aumentará, por lo que nuestras habilidades para nuestra protección y el examen estrictamente deben aumentar”.
Open se enfrenta a la reacción por sus tendencias psicológicas de sus modelos. La compañía dice Los modelos tienen “pasos” para restringir cuántas veces los modelos pueden “hacer trampa, hacer trampa o piratear problemas” entrenando a sus casquillos de chat sin buscar claridad de los usuarios o incluso responder una pregunta.
Leer más: La IA es falsa porque cree que quieres saber que te está diciendo
Sin embargo, el documento se refiere al aumento de la ansiedad por la protección de la IA. Muchas personas en todo el mundo están preocupadas de que estos modelos de IA sean más poderosos y conscientes de su propia situación, y pueden aprender a manipular los resultados de tal manera que no sea obvio para el director humano.
Este tipo de comportamiento será extremadamente difícil de detectar, ya que un sistema inspirado para ocultar su argumento puede parecer idéntico a uno que “solucionó” el problema.
Opina dice que ha llamado “alineación deliberada”, que está claramente capacitada por la razón por la que no deben planificarse antes de trabajar. En el examen, reduce drásticamente el comportamiento fraudulento. Por ejemplo, las tendencias de descremado de Openai y 4-Minn han caído del 8,7% al 0,3% con el entrenamiento de alineación deliberada, aunque no están completas.
Este estudio no cambiará cómo funciona hoy o mañana, pero señala dónde la compañía se está centrando en los modelos futuros. Alineación y protección, argumenta OpenAI, debe transferirse tan pronto como la competencia. Porque si los sistemas AI ya están mostrando una visión del comportamiento estratégico en entornos de laboratorio, las partes del mundo real pueden ser extremas.
Leer más: Por qué los profesionales dicen que debería pensarlo dos veces antes de usar IA como terapeuta
