Los artículos científicos dependen de que los lectores confíen en sus datos. Por eso es molesto que un Nueva investigación Investigadores afiliados a Cornell y UCLA encontraron 146.900 citas falsas generadas por IA en artículos científicos alojados en cuatro bases de datos de investigación importantes.
Una limitación clave de los grandes modelos de lenguaje como Gemini y ChatGPT es su tendencia a producir información que suena lógica pero inexacta. Un fenómeno conocido como alucinación. Si un investigador confía en un chatbot para redactar citas sin verificarlas, el modelo puede generar referencias completamente inventadas.
Aunque los artículos científicos suelen estar ocultos a la vista del público, la investigación que informan tiene un profundo impacto en nuestras vidas. todo desde Internet de Batería de iones de litio Comenzó como un trabajo de investigación.
Pero cuando los científicos presentan artículos que citan alucinaciones de IA, esto puede socavar la confianza en la calidad de la investigación.
ciencia desordenada
El equipo de investigación analizó 111 millones de referencias de 2,5 millones de artículos científicos. Buscaron citas con títulos que el equipo no pudo relacionar con ninguna publicación. Aunque algunos de estos ejemplos eran simplemente errores ortográficos, el equipo también encontró alucinaciones.
Investigadores sin escrúpulos creaban citas falsas mucho antes del auge de los chatbots, por lo que el equipo también examinó la tasa de citas inigualables en estudios publicados antes de 2023, cuando los chatbots aún no se habían vuelto omnipresentes.
“Vemos un fuerte aumento de referencias inexistentes tras la adopción generalizada de un LLM”, escribieron los autores en el artículo.
El equipo también descubrió que las malas citas se distribuían entre muchos artículos en lugar de concentrarse en unos pocos. Esto sugiere que el problema es generalizado y muchos investigadores se basan en referencias generadas por IA sin verificarlas por completo.
señal de advertencia
Usha Haley, profesora de gestión en la Universidad Estatal de Wichita, dijo a CNET por correo electrónico que considera la proliferación de citas falsas como una advertencia seria.
“Las citas falsas o generadas por IA socavan la confianza en el registro académico que proporciona la base sobre la que descansan la revisión por pares y el conocimiento creciente”, dijo Haley. “Desafortunadamente, este escepticismo proviene ahora del mundo académico y de los académicos que inician su carrera”.
Las cuatro bases de datos donde los investigadores han encontrado citas falsas son arXiv, bioRxiv, SSRN y PubMed Central. Estas organizaciones, conocidas como repositorios científicos, desempeñan un papel importante en el mundo de la investigación.
Antes de publicar un artículo en una revista científica, los autores suelen cargarlo en un repositorio científico, lo que aumenta su visibilidad y permite que la comunidad científica mundial acceda a él de inmediato. El nuevo artículo sobre citas alucinantes de IA se encuentra actualmente alojado en arXiv.
Recientemente, Rxiv ha tomado medidas para detener el flujo de citas falsas. organización Fue anunciado el martes. Prohibirá a los autores que envíen obras con citas alucinantes o cualquier rastro de contenido de IA que no haya sido examinado cuidadosamente.
“El corpus científico se está volviendo más delgado. Muchas cosas de la IA están activamente equivocadas o son tonterías. Es sólo ruido”, dijo Stein Sigurdsson, director científico de RXIV, a Caitlin Chedroi de CNET en febrero. “Hace que sea difícil descubrir qué está pasando realmente y puede desviar a la gente”.
