La inteligencia artificial creativa aún no puede leer ni extraer de manera confiable información de notas médicas en registros médicos

En un estudio de 54,569 visitas al departamento de emergencias entre pacientes lesionados durante el transporte en bicicleta, scooter u otro tipo de micromovilidad entre 2019 y 2022, los resultados de un enfoque basado en búsqueda de cadenas de texto para extraer el estado del casco de las notas clínicas a AI LLM dificultan la copia. LLM tuvo un buen desempeño solo cuando el mensaje contenía todo el texto utilizado en el enfoque basado en búsqueda de cadenas de texto. LLM también tuvo dificultades para replicar su tarea durante cada prueba durante cinco días consecutivos, y logró replicar mejor su ilusión que su tarea correcta. Le costaba especialmente cuando se negaba la frase, como leer “sin casco” o “sin casco” e informar que el paciente llevaba casco.

Una gran cantidad de datos clínicamente relevantes se incluyen en los registros médicos electrónicos en forma de notas clínicas escritas, un tipo de datos no estructurados. Los métodos eficaces para leer y extraer información de estas notas serán de gran utilidad para la investigación. Actualmente, se puede extraer información de estas notas médicas mediante métodos simples de búsqueda de texto mediante coincidencia de cadenas o métodos más sofisticados basados ​​en inteligencia artificial (IA), como el procesamiento del lenguaje natural. La esperanza era que un nuevo LLM, como ChatGPT-4, pudiera extraer información de manera más rápida y confiable.

““Si bien vemos beneficios potenciales en el rendimiento al usar AI generativa LLM para tareas de extracción de información, los problemas de confiabilidad y las ilusiones limitan su utilidad”, dijo Andrew Rundle, DrPH, profesor de epidemiología en la Columbia Mailman School y autor principal de Limit the. Con anotaciones detalladas que incluyen todas las cadenas de texto relacionadas con el casco, ChatGPT-4 puede extraer datos precisos de notas clínicas en unos pocos días. Pero el tiempo necesario para definir y probar todo el texto que debía incluirse en el mensaje y la incapacidad de ChatGPT-4 para replicar su trabajo día tras día nos sugiere que ChatGPT-4 todavía no está a la altura de la tarea. No estoy listo para trabajar.”

Utilizando datos disponibles públicamente de 2019 a 2022 del Sistema Nacional de Vigilancia Electrónica de Lesiones de la Comisión de Seguridad de Productos de Consumo de EE. UU., una muestra de 96 hospitales de EE. UU., Rundle y sus colegas compararon las lesiones de bicicletas eléctricas, bicicletas, patinetas flotantes y scooters eléctricos. pacientes lesionados en accidentes. . Compararon los resultados de los análisis de registros de ChatGPT-4 con datos generados mediante búsquedas basadas en cadenas de texto más tradicionales, y para 400 registros, compararon los análisis de ChatGPT con sus propias notas clínicas en los registros.

Esta investigación se basa en su trabajo para estudiar cómo prevenir lesiones entre los usuarios de micromovilidad (es decir, ciclistas, ciclistas eléctricos y scooters). “El uso del casco es un factor importante en la gravedad de las lesiones, sin embargo, la información sobre el uso del casco en la mayoría de los registros médicos e informes de incidentes de los departamentos de emergencia está oculta en notas clínicas escritas por un médico o un personal de emergencia. Y acceda a esta información de manera eficiente”. dijo Catherine Burford, autora principal del artículo y becaria postdoctoral en el Departamento de Epidemiología de la Escuela Mailman.

“Nuestro estudio examinó la capacidad de los LLM para recuperar información de notas médicas, que son una rica fuente de información para profesionales e investigadores de la salud”, dijo Rundle. “Pero cuando usamos ChatGPT-4 en ese momento, no pudo proporcionarnos datos confiables”.