Pero a pesar de que OpenAI palabra de apoyar objetivos de salubridad, los términos de servicio de la compañía directamente estado que ChatGPT y otros servicios de OpenAI “no están destinados a ser utilizados en el dictamen o tratamiento de ninguna condición de salubridad”.

Parece que la política no está cambiando con ChatGPT Health. OpenAI escribe en su anuncio: “La salubridad está diseñada para apoyar, no reemplazar, la atención médica. No está destinada al dictamen o tratamiento. En cambio, le ayuda a navegar las preguntas cotidianas y comprender patrones a lo espléndido del tiempo, no solo momentos de enfermedad, para que pueda sentirse más informado y preparado para conversaciones médicas importantes”.

Un relato con moraleja

El noticia de SFGate sobre la crimen de Sam Nelson ilustra por qué es importante persistir esa exención de responsabilidad legalmente. Según los registros de chat revisados ​​por la publicación, Nelson preguntó por primera vez a ChatGPT sobre la dosificación de drogas recreativas en noviembre de 2023. El asistente de IA inicialmente se negó y lo remitió a profesionales de la salubridad. Pero posteriormente de 18 meses de conversaciones, las respuestas de ChatGPT supuestamente cambiaron. Al final, el chatbot le dijo cosas como “Diablos, sí, pongámonos en modo sensacional” y le recomendó que duplicara su consumo de medicamento para la tos. Su origen lo encontró muerto por una sobredosis al día próximo de comenzar el tratamiento por suma.

Si acertadamente el caso de Nelson no implicó el exploración de instrucciones de atención médica aprobadas por un médico como el tipo que vinculará ChatGPT Health Hasta ahora, su caso no es único, ya que muchas personas han sido engañadas por chatbots que brindan información inexacta o alientan comportamiento peligroso, como hemos cubierto en el pasado.

Esto se debe a que los modelos de estilo de IA pueden confabularse fácilmente, generando información plausible pero falsa de una guisa que dificulta a algunos usuarios distinguir la sinceridad de la ficción. Los modelos de IA que servicios como ChatGPT utilizan relaciones estadísticas en los datos de entrenamiento (como el texto de libros, transcripciones de YouTube y sitios web) para producir respuestas plausibles en punto de respuestas necesariamente precisas. Encima, los resultados de ChatGPT pueden variar ampliamente dependiendo de quién esté usando el chatbot y de lo que haya sucedido previamente en el historial de chat del sucesor (incluidas las notas sobre chats anteriores).