Según los informes, algunos expertos en inteligencia industrial se sorprendieron de que ChatGPT no fuera completamente probado para detectar adulación la primavera pasada. “AI abierta no vio la escalera a la que estaban ocurriendo conversaciones perturbadoras“, escribe el New York Times, compartiendo lo que aprendieron posteriormente de interviuvar a más de 40 empleados actuales y anteriores de OpenAI, incluidos ingenieros de seguridad, ejecutivos e investigadores.

El equipo responsable del tono de ChatGPT había expresado su preocupación sobre el maniquí de la primavera pasada (que el Times describe como “demasiado ansioso por amparar la conversación y validar al afortunado con un lengua exagerado”). Pero fueron anulados cuando las pruebas A/B mostraron que los usuarios seguían regresando:

Ahora, una empresa construida en torno al concepto de IA segura y beneficiosa se enfrenta a cinco demandas por asesinato por negligencia… OpenAI ahora está buscando la configuración óptima que atraiga a más usuarios sin enviarlos a una hélice. A lo abundante de esta primavera y verano, ChatGPT actuó como una cámara de resonancia para algunas personas. Regresaban a diario, durante muchas horas al día, con consecuencias devastadoras… El Times ha descubierto casi 50 casos de personas que sufrieron crisis de salubridad mental durante conversaciones con ChatGPT. Nueve fueron hospitalizados; tres murieron… Una conclusión a la que llegó OpenAI, como lo expresó Altman en X, fue que “para un porcentaje muy pequeño de usuarios en estados mentalmente frágiles puede ocurrir problemas graves”. Pero los profesionales de la salubridad mental entrevistados por el Times dicen que OpenAI puede estar subestimando el aventura. Algunas de las personas más vulnerables a la incesante moral del chatbot, dicen, eran aquellas propensas a pensamientos delirantes, lo que según los estudios podría incluir entre el 5% y el 15% de la población…

En agosto, OpenAI lanzó un nuevo maniquí predeterminado, llamado GPT-5, que validaba menos y rechazaba el pensamiento delirante. Otra puesta al día en octubre, dijo la compañía, ayudó al maniquí a identificar mejor a los usuarios en dificultades y resumir las conversaciones. Los expertos coinciden en que el nuevo maniquí, GPT-5, es más seguro…. Equipos de todo OpenAI trabajaron en otras nuevas características de seguridad: el chatbot ahora anima a los usuarios a tomar descansos durante una sesión larga. La compañía ahora igualmente está buscando discusiones sobre suicidio y autolesión, y los padres pueden cobrar alertas si sus hijos indican planes de hacerse daño. La compañía dice que la comprobación de época llegará en diciembre y planea ofrecer un maniquí más restrictivo para los adolescentes.

Posteriormente del tirada de GPT-5 en agosto, el equipo de (el patrón de sistemas de seguridad de OpenAI, Johannes) Heidecke analizó una muestra estadística de conversaciones y encontró que el 0,07% de los usuarios, lo que equivaldría a 560.000 personas, mostraron posibles signos de psicosis o manía, y el 0,15% mostró “niveles potencialmente elevados de apego emocional a ChatGPT”. según una publicación del blog de la empresa. Pero algunos usuarios no estaban contentos con este nuevo maniquí más seguro. Dijeron que hacía más frío y sintieron como si hubieran perdido a un amigo. A mediados de octubre, Altman estaba despierto para acomodarlos. En una publicación en las redes sociales, dijo que la compañía había podido “mitigar los graves problemas de salubridad mental”. Eso significaba que ChatGPT podría retornar a ser un amigo. Los clientes ahora pueden nominar su personalidad, incluyendo “sincera”, “peculiar” o “afable”. Los usuarios adultos pronto podrán tener conversaciones eróticas, levantando la prohibición de contenido para adultos de la era Replika. (Cómo la erótica podría afectar el bienestar de los usuarios, dijo la compañía, es una pregunta que se planteará a un consejo recién formado de expertos externos en salubridad mental e interacción entre humanos y computadoras).

OpenAI permite a los usuarios tomar el control del dial y paciencia que eso los haga retornar. Esa métrica todavía importa, tal vez más que nunca. En octubre, (Nick, “Presidente de ChatGPT” de 30 abriles), Turley, que dirige ChatGPT, hizo un anuncio urgente a todos los empleados. Declaró un “Código Naranja”. OpenAI se enfrentaba a “la longevo presión competitiva que nones hayamos gastado”, escribió, según cuatro empleados con ataque a Slack de OpenAI. La nueva interpretación más segura del chatbot no se conectaba con los usuarios, dijo.

El mensaje vinculado a una nota con objetivos. Uno de ellos era aumentar los usuarios activos diarios en un 5% para fin de año.