Los modelos de jerga de gran tamaño (LLM, por sus siglas en inglés), basados en inteligencia sintético (IA) y entrenados para procesar y comprender el jerga natural a una escalera enorme, suponen un aventura para quienes buscan asesoramiento en temas de vigor, porque tienden a dar información inexacta e inconsistente.

Según un estudio publicado este lunes en Medicina de la naturalezatodavía existe una enorme brecha entre lo que prometen los modelos de jerga (LLM) y su utilidad efectivo para pacientes que buscan información sobre sus síntomas.

El estudio, liderado por el Instituto de Internet de Oxford y el Área Nuffield de Ciencias de la Vitalidad de Atención Primaria de la Universidad de Oxfordconcluye que los que recurren a la IA para arriesgarse sobre la agravación de una afección, no tomaron mejores decisiones que los que confiaron en métodos tradicionales (como averiguar en internet o su propio querella).

En los últimos tiempos, diversos proveedores de vigor a nivel mundial han propuesto los LLM como herramientas potenciales para realizar evaluaciones de vigor preliminares y diligenciar sus afecciones ayer de personarse a un médico.

Para otorgar esta capacidad de la IA, los autores del estudio evaluaron si los LLM podían ayudar a los ciudadanos a identificar con precisión afecciones médicas, como un resfriado popular, anemia o cálculos biliares y a arriesgarse si personarse al médico de almohada o al hospital.

El estudio reveló que los que usaron la Iowa no tomaron mejores decisiones que los que buscaron opinión en internet o confiaron en su propio querella.

Usuarios reales, desafíos reales

El equipo hizo un investigación fortuito con casi 1.300 participantes a los que pidió identificar posibles condiciones de vigor y avisar acciones a seguir.

Los escenarios, detallados por médicos, incluían desde un señorita con un esforzado dolor de cabecera tras una salida nocturna hasta una matriz primeriza que se sentía constantemente agotada y sin aliento.

Un peña usó un LLM para asistir su toma de decisiones, mientras que un peña de control utilizó fuentes de información tradicionales, como consultar en internet.

Los resultados revelaron una brecha significativa entre el rendimiento teórico de la IA y su uso práctico.

Tras repasar manualmente las interacciones entre humanos y LLM, el equipo descubrió fallos importantes en la comunicación en ambas direcciones: a menudo los participantes daban poca información o incompleta al maniquí, pero igualmente que los LLM generaban información engañosa o errónea con recomendaciones que mezclaban consejos buenos y malos.

El estudio concluye que los LLM actuales no están listos para ser implementados en la atención directa al paciente.

«Diseñar pruebas robustas para los modelos de jerga es secreto para entender cómo podemos servirse esta nueva tecnología», asegura andres frijolautor principal e investigador doctoral en el Oxford Internet Institute.

«La interacción con humanos supone un liza incluso para los mejores modelos»

«En este estudio, demostramos que la interacción con humanos supone un liza incluso para los mejores modelos. Esperamos que este trabajo contribuya al expansión de sistemas de IA más seguros y enseres».

A la tino de los resultados del estudio, los autores advierten que al igual que los ensayos clínicos para nuevos medicamentos, los sistemas de IA deberían probarse en el mundo efectivo ayer de ser implementados.

«Estos hallazgos resaltan la dificultad de construir sistemas de IA que en realidad puedan apoyar a las personas en áreas sensibles y de suspensión aventura como la vigor», señala Rebecca Payne, médica de almohada y líder del estudio.

«A pesar de toda la expectativa, la IA simplemente no está directorio para encargarse el papel del médico. Los pacientes deben ser conscientes de que consultar a un maniquí de jerga sobre sus síntomas puede ser peligroso, ya que pueden dar diagnósticos erróneos y no aceptar cuándo se necesita ayuda urgente».