Los expertos han encontrado vulnerabilidades, algunas graves, en cientos de pruebas utilizadas para comprobar la seguridad y eficacia de los nuevos modelos de inteligencia artificial lanzados en todo el mundo.
Dr. científico informático del gobierno británico Instituto de seguridad de IAY expertos de universidades como Stanford, Berkeley y Oxford han probado más de 440 puntos de referencia que proporcionan una importante red de seguridad.
Encontraron errores que “reducen la validez de las afirmaciones resultantes”, que “casi todos… tienen debilidades en al menos un área” y que las puntuaciones resultantes pueden ser “irrelevantes o incluso engañosas”.
Se utilizan muchos puntos de referencia para evaluar los últimos modelos de IA lanzados por las principales empresas de tecnología, dijo el investigador del Oxford Internet Institute, Andrew Bean, autor principal del estudio.
En ausencia de una regulación nacional sobre la IA en el Reino Unido y EE. UU., se utilizan puntos de referencia para determinar si las nuevas IA son seguras, están alineadas con los intereses humanos y logran las capacidades declaradas en razonamiento, matemáticas y codificación.
La investigación de las pruebas se produce en medio de una creciente preocupación por la seguridad y eficacia de las IA, que las empresas tecnológicas competidoras están lanzando a gran velocidad. Recientemente, algunos se han visto obligados a retirar o endurecer las restricciones a las IA después de haber contribuido a daños que van desde la difamación hasta el suicidio.
“Los puntos de referencia respaldan casi todas las afirmaciones sobre el progreso en la IA”, dijo Bean. “Pero sin definiciones compartidas y mediciones sólidas, resulta difícil saber si los modelos realmente están mejorando o simplemente están apareciendo”.
Google este fin de semana Sus últimas IA, Gemma, se han retiradoEsto se produce después de que un senador estadounidense hiciera acusaciones sin fundamento de una relación sexual no consensuada con un policía estatal, con enlaces a noticias falsas.
La senadora Marsha Blackburn, republicana de Tennessee, dijo en una carta al director ejecutivo de Google, Sundar Pichai: “Nunca ha habido tal acusación, ni tal persona, ni tal nueva historia”.
“Esta no es una alucinación inofensiva. Es un acto de difamación producido y distribuido por un modelo de inteligencia artificial propiedad de Google. Una herramienta de acceso público que inventa acusaciones criminales falsas sobre un senador estadounidense representa una falla catastrófica de supervisión y responsabilidad ética”.
Google dice que sus modelos Gemma fueron creados para desarrolladores e investigadores de IA, no para ayudas prácticas ni para consumidores. Ha retirado su plataforma AI Studio tras lo que describe como “informes de no desarrolladores que intentan utilizarlos”.
“La alucinación -donde los modelos simplemente inventan cosas sobre todo tipo de cosas- y la adulación -donde los modelos dicen a los usuarios lo que quieren escuchar- son desafíos en toda la industria de la IA, especialmente en los modelos abiertos pequeños como Gemma”, dijo. “Estamos comprometidos a reducir las alucinaciones y mejorar continuamente todos nuestros modelos”.
Después de la circulación del boletín
La semana pasada, Character.ai, la popular startup de chatbots, prohibió a los adolescentes entablar conversaciones abiertas con sus chatbots de IA. Fue un niño de Florida de 14 años que se suicidó después de obsesionarse con un chatbot impulsado por inteligencia artificial que, según su madre, lo manipuló para quitarse la vida. Una demanda estadounidense de la familia de un adolescente quien afirmó que un chatbot lo llevó a autolesionarse y lo animó a matar a sus padres.
El estudio examina puntos de referencia ampliamente disponibles, pero las empresas líderes en IA tienen sus propios puntos de referencia internos que no han sido probados.
Concluyó que existía “una necesidad apremiante de normas y mejores prácticas compartidas”.
Un hallazgo “sorprendente”, dijo Bean, fue que sólo una pequeña minoría (16%) de los puntos de referencia utilizaban estimaciones de incertidumbre o pruebas estadísticas para mostrar cuán preciso era un punto de referencia. En otros casos en los que se establecen puntos de referencia para evaluar las propiedades de una IA (por ejemplo, su “infalibilidad”), la definición del concepto que se está probando ha sido cuestionada o mal definida, lo que hace que el punto de referencia sea menos útil.
