Los investigadores de UTSA completaron recientemente uno de los estudios más completos relacionados con el riesgo de usar modelos de IA para producir software. En un nuevo artículo, muestran cómo un tipo específico de error puede ser una amenaza seria para los programadores que usan IA para ayudar a escribir el código.
Estudiante de doctorado de UTSA en informática, que dirigió el estudio, cómo los modelos de idiomas grandes (LLM) a menudo producen códigos inseguros. La disertación de su equipo ha sido aceptada para publicar en el Simposio de Seguridad Usenic 2025, que es Cyberscript and Privacy Conference.
La cooperación multiinstitucional incluyó tres investigadores adicionales de UTSA: el estudiante doctorado Ahmad Nazims Sakib, el investigador post documental Rain Vijukama y el profesor asociado Dr. Murtoza Joldley, Spirit Lab (Seguridad, privacidad, confianza y ética para la ética). El becario adicional era de la Universidad de Oklahoma (ex investigador de doctorado de UTSA) de Anandia Matha y Bimal Vishwanath de Virginia Tech.
El fraude en LLM ocurre cuando el modelo desarrolla material que de hecho es incorrecto, inconsciente o completamente irrelevante para la tarea de entrada. La mayor parte de la investigación actual hasta ahora se ha centrado principalmente en las tareas clásicas de reproducción y pronóstico del lenguaje natural, como la traducción automática, el abstracto y la IA de interacción.
El equipo de investigación se centró en la tendencia de engaño del paquete, que ocurre cuando la LLM desarrolla o recomienda el uso de una tercera biblioteca de software de fiesta que no está realmente presente.
Lo que hace que el paquete sea un área interesante de engaño es un área interesante es cuán fácil, un solo comando cotidiano, puede plantear serios riesgos de seguridad.
“No tiene un conjunto criminal de situaciones o algo poco claro”, dijo Splkin. “Es solo escribir un comando que la mayoría de las personas que trabajan en estos lenguajes de programación escriben todos los días. Eso es todo. Es muy sencillo y muy fácil”.
“Esto también está en todas partes”, agregó. “Puede trabajar muy poco con su lenguaje de codificación central. Le llevará mucho tiempo escribirlo usted mismo, por lo que es universal confiar en el software de código abierto para mejorar sus propias capacidades de lenguaje de programación para cumplir con tareas específicas”.
Los desarrolladores de LLM se están volviendo cada vez más populares, utilizando modelos de IA para ayudar a recopilar programas. Según el estudio, los desarrolladores de software suman hasta el 97 % de la IA generativa a su flujo de trabajo, y el código del 30 % escrito hoy ha sido generado por AII Generado. Además, muchos lenguajes de programación famosos, como PP y el script Java para NPM, dependen del uso del almacenamiento de paquetes centrales. Dado que los depósitos a menudo son fuentes abiertas, los malos actores pueden cargar códigos maliciosos disfrazados de paquetes legítimos.
Durante años, los invasores han utilizado varias variantes de varios actos para instalar su malware a los consumidores. Los engaños del paquete son la última táctica.
“Entonces, decimos que le pido a Chat Jept que me ayude a escribir un código y escribirlo. Ahora, decimos que el código hecho incluye algún paquete, y confío en él y ejecuto el código, pero el paquete no existe, este es algunos de los paquetes más llamativos con un paquete tan nuevo. ahora ha sido descargado e implementado en la máquina del usuario.
Los investigadores de UTSA revisaron la presencia de engaño de paquetes en varios lenguajes de programación, configuraciones y parámetros, detectando la posibilidad de recomendaciones falsas de paquetes e identificando las razones principales.
En las 30 pruebas diferentes realizadas por los investigadores de UTSA, 440,445 de 2.23 millones de código, en el que han creado modelos LLM en Azar y JavaScript. El estudio dice que entre los investigadores del LLMS, “se descubrió que los modelos de la serie GPT tenían cuatro veces menos probabilidades de producir un paquete holocanetado que el modelo de código abierto, con una tasa de engaño del 5.2 por ciento en comparación con el 21.7 por ciento”. Los investigadores encontraron que los códigos de Azar eran menos sensibles al engaño que el JavaScript.
Estos ataques a menudo incluyen el nombre de un paquete malicioso para imitar una revisión, una táctica conocida como el ataque de confusión del paquete. En un paquete de Holocration Attack, un usuario incierto de LLM se recomendará al paquete en su código producido y que depende de la LLM, descargará un paquete malicioso producido por el anti -1, lo que dará como resultado un compromiso.
El factor de tela de esta debilidad es que explota la creciente confianza en el LLM. Dado que continúan especializándose en tareas de codificación, los consumidores tendrán más probabilidades de cerrar sus ojos en su producción y posiblemente sufrir el ataque.
Sparklin explicó: “Si haces muchos códigos, no es difícil ver cómo sucede. Hablamos con muchas personas y casi todos dicen que han sentido un engaño de paquete con ellos mientras codifican, pero nunca consideraron cómo se usó maliciosamente”. “Usted tiene mucha confianza en el editor de paquetes de que el código compartido es legítimo y no malicioso. Pero cada vez que descarga un paquete. Probablemente esté descargando código malicioso y le da acceso completo a su máquina”.
Aunque la referencia cruzada a los paquetes creados con la lista maestra puede ayudar a reducir la interpretación, los investigadores de UTSA dijeron que la mejor solución es resolver la base de LLM durante su desarrollo. El equipo ha revelado sus resultados, incluidos los proveedores de modelos, incluidos Openi, Meta, DiPic y el Sr.
