Un leedor ignorado cita un referencia de TechCrunch: Antaño de que Adam Raine, de 16 abriles, muriera por suicidio, había pasado meses consultando a Chatgpt sobre sus planes para terminar con su vida. Ahora, sus padres son Presentar la primera demanda de homicidio injusta conocida contra OpenAIThe New York Times informes. Muchos chatbots de IA orientados al consumidor están programados para activar las características de seguridad si un adjudicatario expresa la intención de dañarse a sí mismos u otros. Pero investigación ha demostrado que estas salvaguardas están allá de ser infalibles.

En el caso de Raine, mientras usaba una lectura paga de ChatGPT-4O, la IA a menudo lo alentaba a inquirir ayuda profesional o contactar a una camino de ayuda. Sin requisa, pudo evitar estas barandillas diciéndole a ChatGPT que estaba preguntando sobre los métodos de suicidio para una historia ficticia que estaba escribiendo. Operai ha abordado estas deficiencias en su blog. “A medida que el mundo se adapta a esta nueva tecnología, sentimos una profunda responsabilidad de ayudar a quienes más la necesitan”, la publicación lección. “Estamos mejorando continuamente cómo responden nuestros modelos en interacciones sensibles”. Aún así, la compañía reconoció las limitaciones de la capacitación de seguridad existente para grandes modelos. “Nuestras salvaguardas funcionan de modo más confiable en global, intercambios cortos”, continúa la publicación. “Hemos aprendido con el tiempo que estas salvaguardas a veces pueden ser menos confiables en interacciones largas: a medida que crece el regreso y el final, las partes del entrenamiento de seguridad del maniquí pueden degradarse”.