un nuevo estudiar realizado por investigadores del MIT y Empirical Health utilizó 3 millones de días-persona de datos de Apple Watch para desarrollar un maniquí fundamental que predice condiciones médicas con una precisión impresionante. Aquí están los detalles.

Un poco de trasfondo

Mientras Yann LeCun todavía era el comprobado patrón de IA de Meta, propuso la Inmueble Predictiva de Incrustación Conjunta, o JEPA, que esencialmente enseña a una IA a inferir el significado de los datos faltantes en división de los datos en sí.

En otras palabras, cuando se prostitución de lagunas en los datos, el maniquí aprende a predecir cuáles serán las partes faltantes. representaren división de intentar adivinar y reparar sus títulos precisos.

Para una imagen, por ejemplo, donde algunas partes están enmascaradas y otras son visibles, JEPA incrustaría las regiones visibles y enmascaradas en un espacio compartido (de ahí, incrustación conjunta) y haría que el maniquí infiera la representación de la región enmascarada a partir del contexto visible, en división de la exacta. contenido que estaban escondidos.

Así lo expresó Meta cuando la compañía lanzó un maniquí llamado I-SÍ en 2023:

El año pasado, el comprobado patrón de IA de Meta, Yann LeCun, propuso una nueva cimentación destinada a aventajar las limitaciones secreto incluso de los sistemas de IA más avanzados de la hogaño. Su visión es crear máquinas que puedan instruirse modelos internos de cómo funciona el mundo para que puedan instruirse mucho más rápidamente, planificar cómo realizar tareas complejas y adaptarse fácilmente a situaciones desconocidas.

Desde que se publicó el estudio JEPA diferente de LeCun, esta cimentación se ha convertido en la cojín de un campo que ha estado explorando “modelos mundiales”, lo que supone una desviación del enfoque de predicción de tokens de los LLM y los sistemas basados ​​en GPT.

De hecho, LeCun incluso dejó Meta recientemente para iniciar una empresa centrada exclusivamente en modelos mundiales, que, según él, son el serio camino con destino a AGI.

Entonces, ¿3 millones de días de datos del Apple Watch?

Sí, volvamos al estudio que nos ocupa. Publicado hace unos meses, el artículo JETS: un maniquí fundamental de series temporales de integración conjunta autosupervisado para datos de comportamiento en la atención sanitaria Recientemente fue aceptado en un taller en NeurIPS.

Adapta el enfoque de incorporación de articulaciones de JEPA a series temporales multivariadas irregulares, como datos portátiles a grande plazo donde la frecuencia cardíaca, el sueño, la actividad y otras mediciones aparecen de modo inconsistente o con grandes brechas a lo grande del tiempo.

Del estudio:

El estudio utiliza un conjunto de datos longitudinal que comprende datos de dispositivos portátiles recopilados de una cohorte de 16.522 personas, con un total de ~3 millones de días-persona. Para cada individuo, se registraron 63 métricas de series temporales distintas con una resolución diaria o inferior. Estas métricas se clasifican en cinco dominios fisiológicos y conductuales: lozanía cardiovascular, lozanía respiratoria, sueño, actividad física y estadísticas generales.

Curiosamente, sólo el 15% de los participantes habían etiquetado sus historiales médicos para su evaluación, lo que significa que el 85% de los datos no habrían sido utilizables en los enfoques tradicionales de formación supervisado. En cambio, JETS primero aprendió del conjunto de datos completo a través de un entrenamiento previo autosupervisado, y entonces concorde en el subconjunto etiquetado.

Para que todo funcionara, hicieron tripletes de datos a partir de observaciones correspondientes al día, valencia y tipo de métrica.

Esto les permitió convertir cada observación en un token, que a su vez pasó por un proceso de enmascaramiento, se codificó y luego se introdujo a través de un predictor (para predecir la incorporación de los parches faltantes).

Una vez hecho esto, los investigadores compararon JETS con otros modelos de relato (incluida una traducción preliminar de JETS, basada en la cimentación Transformer) y los evaluaron utilizando AUROC y AUPRC, dos medidas standard de qué tan adecuadamente una IA discrimina entre casos positivos y negativos.

JETS logró un AUROC de 86,8% para hipertensión arterial, 70,5% para aleteo auricular, 81% para síndrome de asma crónica, 86,8% para síndrome del seno enfermo, entre otros. Por supuesto, no fue así siempre percibir, pero las ventajas son sobrado claras, como se ve a continuación:

Vale la pena insistir que AUROC y AUPRC no son estrictamente exactitud índices. Son métricas que muestran qué tan adecuadamente un maniquí clasifica o prioriza los casos probables, en división de con qué frecuencia acierta las predicciones.

En definitiva, este estudio presenta un enfoque interesante para maximizar el conocimiento y el potencial de rescatar vidas de los datos que podrían descartarse como incompletos o irregulares. En algunos casos, las métricas de lozanía solo se registraron el 0,4% del tiempo, mientras que otras aparecieron en el 99% de las lecturas diarias.

El estudio además refuerza la noticia de que los modelos novedosos y las técnicas de entrenamiento son muy prometedores para explorar los datos que ya recopilan dispositivos portátiles como el Apple Watch, incluso cuando no se usan el 100% del tiempo.

Puedes ojear el estudio completo aquí.

Ofertas de accesorios en Amazon