uno nuevo Estudiar Investigadores del MIT y Empirical Health utilizaron 3 millones de días-persona de datos del Apple Watch para construir un modelo fundamental que predice condiciones médicas con una precisión impresionante. Aquí están los detalles.
Un poco de trasfondo
Ian LeCun, todavía jefe científico de IA en Meta, propuso la Arquitectura Predictiva de Incrustación Conjunta, o JEPA, que esencialmente enseña a una IA a inferir el significado de los datos faltantes en lugar de los datos.
En otras palabras, cuando se trata de lagunas de datos, el modelo aprende a estimar las partes faltantes. representaciónen lugar de intentar inferir y reconstruir sus valores precisos.
Para una imagen, por ejemplo, donde algunas partes están enmascaradas y otras son visibles, JEPA incrustará las regiones visibles y enmascaradas en un espacio compartido (por lo tanto, incrustación conjunta) y hará que el modelo infiera la representación de la región enmascarada del contexto visible, no del contexto exacto. Contenido Eso estaba escondido.
A continuación se explica cómo expresarlo cuando la empresa lanza un modelo llamado Meta. Yo-si En 2023:
El año pasado, el científico jefe de IA de Meta, Ian LeCun, propuso una nueva arquitectura destinada a superar las limitaciones clave de los sistemas de IA más avanzados de la actualidad. Su visión es construir máquinas que puedan aprender modelos internos de cómo funciona el mundo para que puedan aprender más rápido cómo realizar tareas complejas y adaptarse fácilmente a situaciones desconocidas.
Desde que se publicó el estudio JEPA original de LeCun, esta arquitectura se ha convertido en la base de un campo que explora los “modelos mundiales”, una desviación del enfoque de predicción de tokens de los sistemas basados en LLM y GPT.
De hecho, LeCun incluso dejó recientemente Meta para iniciar una empresa centrada exclusivamente en modelos mundiales, lo que, según él, es el verdadero camino hacia AGI.
Entonces, ¿qué pasa con 3 millones de días de datos del Apple Watch?
Sí, vuelta a los estudios escolares. El artículo publicado hace unos meses. JETS: un modelo básico de series temporales de integración conjunta autosupervisado para datos de comportamiento en la atención sanitaria Recientemente acepté un taller en NeurIPS.
Se ajusta al enfoque de integración de articulaciones de JEPA con series temporales multivariadas irregulares, como datos portátiles a largo plazo donde la frecuencia cardíaca, el sueño, la actividad y otras medidas se observan de manera inconsistente o con grandes brechas a lo largo del tiempo.
De la investigación:
El estudio utilizó un conjunto de datos longitudinal con datos de dispositivos portátiles recopilados de 16.522 personas, con un total de ~3 millones de días-persona. Para cada individuo, se registraron 63 métricas de series temporales individuales con una resolución diaria o inferior. Estas métricas se clasifican en cinco dominios fisiológicos y conductuales: salud cardiovascular, salud respiratoria, sueño, actividad física y estadísticas generales.
Curiosamente, sólo el 15% de los participantes etiquetaron el historial médico para la evaluación, lo que significa que el 85% de los datos no habrían sido utilizables con los métodos tradicionales de aprendizaje supervisado. En cambio, JETS aprendió primero del conjunto de datos completo a través de un entrenamiento previo autosupervisado y entonces Ajustado en subconjuntos etiquetados.
Para que todo funcione, generaron triplicados de datos a partir de observaciones relacionadas con días, valores y tipos de métricas.
Esto les permite convertir cada observación en un token, que pasa por un proceso de enmascaramiento, se codifica y luego se alimenta a través de un predictor (para predecir la incorporación de parches faltantes).
Una vez hecho esto, los investigadores evaluaron JETS comparándolo con otros modelos de referencia (incluidas versiones anteriores de JETS basadas en la arquitectura del transformador) y utilizando AUROC y AUPRC, dos medidas estándar de qué tan bien una IA discrimina casos positivos y negativos.
JETS logró un AUROC del 86,8% para la hipertensión, el 70,5% para el aleteo auricular, el 81% para el síndrome de fatiga crónica y el 86,8% para el síndrome del seno enfermo. Por supuesto que no fue así siempre ganar, pero los beneficios son bastante claros, como se ve a continuación:
Vale la pena enfatizar que AUROC y AUPRC no son estrictamente precisión Los índices son métricas que muestran qué tan bien un modelo clasifica o prioriza casos potenciales, en lugar de con qué frecuencia obtiene predicciones correctas.
En general, este estudio presenta un enfoque interesante para maximizar el conocimiento y el potencial de salvar vidas de los datos que pueden considerarse incompletos o no concluyentes. En algunos casos, las métricas de salud se registraron solo el 0,4% del tiempo, mientras que otras aparecieron en el 99% de las lecturas diarias.
El estudio también refuerza la idea de que los nuevos modelos y técnicas de entrenamiento son muy prometedores para explorar los datos ya recopilados por dispositivos portátiles como el Apple Watch, incluso cuando no están 100% usados.
Puedes leer el estudio completo aquí.
