Este artículo se ha actualizado con comentarios de los principales abogados en la demanda por asesinato injusta de la comunidad Raú contra Operai.

Opadai dicho El martes planea enrutar conversaciones confidenciales a modelos de razonamiento como GPT-5 y difundir los controles de los padres en el próximo mes, parte de una respuesta continua a los incidentes de seguridad recientes que involucran a ChatGPT no detectar la angustia mental.

Las nuevas barandillas vienen a posteriori del suicidio del adolescente Adam Raine, quien discutió la autolesión y planea terminar su vida con ChatGPT, que incluso le proporcionó información sobre métodos de suicidio específicos. Los padres de Raine han presentado una demanda por asesinato injusta contra Operai.

En blog La semana pasada, Openai reconoció las deficiencias en sus sistemas de seguridad, incluidas las fallas en ayudar las barandillas durante las conversaciones extendidas. Los expertos atribuyen estos problemas a los instrumentos de diseño fundamentales: la tendencia de los modelos a validar las declaraciones de los usuarios y sus algoritmos de predicción de la próxima palabra, que hacen que los chatbots sigan hilos conversacionales en sitio de redirigir las discusiones potencialmente dañinas.

Esa tendencia se muestra en el extremo en el caso de Stein-Erik Soelberg, cuyo asesinato-suicidio fue reportado por The Wall Street Journal Durante el fin de semana. Soelberg, que tenía un historial de enfermedad mental, usó Chatgpt para validar y proveer su paranoia de que estaba siendo atacado en una gran conspiración. Sus delirios progresaron tanto que terminó matando a su origen y a él mismo el mes pasado.

Operai cree que al menos una alternativa a las conversaciones que se disparan los rieles podrían ser redirigir automáticamente los chats sensibles a los modelos de “razonamiento”.

“Recientemente presentamos un enrutador en tiempo verdadero que puede nominar entre modelos de chat eficientes y modelos de razonamiento basados ​​en el contexto de conversación”, escribió OpenAI en un martes blog. “Pronto comenzaremos a enrutar algunas conversaciones sensibles, como cuando nuestro sistema detecte signos de angustia aguda, a un maniquí de razonamiento, como el pensamiento GPT-5, por lo que puede proporcionar respuestas más efectos y beneficiosas, independientemente de qué maniquí sea una persona seleccionada por primera vez”.

Operai dice que sus modelos GPT-5 de pensamiento y O3 están construidos para tener lugar más tiempo pensando durante más tiempo y razonamiento a través del contexto antiguamente de objetar, lo que significa que son “más resistentes a las indicaciones adversas”.

La firma de IA asimismo dijo que implementaría los controles de los padres en el próximo mes, permitiendo a los padres vincular su cuenta con la cuenta de su adolescente a través de una invitación por correo electrónico. A fines de julio, Operai lanzó el modo de estudio en ChatGPT para ayudar a los estudiantes a ayudar las capacidades de pensamiento crítico mientras estudian, en sitio de tocar el chatgpt para escribir sus ensayos para ellos. Pronto, los padres podrán controlar cómo ChatGPT contesta a su hijo con “reglas de comportamiento del maniquí apropiado para la existencia, que están en curso por defecto”.

Los padres asimismo podrán deshabilitar características como la memoria y el historial de chat, que los expertos dicen que podrían conducir al pensamiento delirante y a otros comportamientos problemáticos, incluidos los problemas de dependencia y apego, refuerzo de patrones de pensamiento dañinos e ilusión de la recitación de pensamiento. En el caso de Adam Raine, ChatGPT suministró métodos para suicidarse que reflejaran el conocimiento de sus pasatiempos, Según el New York Times.

Quizás el control parental más importante que OpenAI tiene la intención de implementar es que los padres pueden cobrar notificaciones cuando el sistema detecta a su adolescente está en un momento de “angustia aguda”.

TechCrunch ha pedido a OpenAI más información sobre cómo la compañía puede marcar los momentos de angustia aguda en tiempo verdadero, cuánto tiempo ha tenido “reglas de comportamiento del maniquí apropiado para la existencia” por defecto, y si está explorando permitir que los padres implementen un coto de tiempo en el uso adolescente de ChatGPT.

Operai ya ha implementado recordatorios en la aplicación durante las largas sesiones para alentar los descansos para todos los usuarios, pero no detiene a las personas que podrían estar usando ChatGPT para helicoidal.

La firma de IA dice que estas salvaguardas son parte de una “iniciativa de 120 días” para obtener la tino previa de los planes de mejoras que Operai demora difundir este año. La compañía asimismo dijo que se está asociando con expertos, incluidos los que tienen experiencia en áreas como trastornos alimentarios, uso de sustancias y vitalidad de los adolescentes, a través de su red general de médicos y el Consejo de Expertos sobre Bienestar e IA para ayudar a “detallar y cronometrar el bienestar, establecer prioridades y diseñar futuras salvaguardas futuras”.

TechCrunch ha preguntado a Openai cuántos profesionales de la vitalidad mental están involucrados en esta iniciativa, que lidera su consejo habituado y qué sugerencias han tomado los expertos en vitalidad mental en términos de decisiones de productos, investigaciones y políticas.

Jay Edelson, asesor principal de la demanda por asesinato injusta de la comunidad Raú contra Operai, dijo que la respuesta de la compañía a los riesgos de seguridad continuos de Chatgpt ha sido “inadecuada”.

“Operai no necesita un panel de expertos para determinar que el chatgpt 4o es peligroso”, dijo Edelson en un comunicado compartido con TechCrunch. “Sabían que el día en que lanzaron el producto, y lo saben hoy. Siquiera Sam Altman debería esconderse detrás del equipo de relaciones públicas de la compañía. Sam debería proponer inequívocamente que cree que ChatGPT es seguro o lo costal de inmediato del mercado”.

¿Tienes un consejo sensible o documentos confidenciales? Estamos informando sobre el funcionamiento interno de la industria de la IA, desde las empresas que configuran su futuro hasta las personas afectadas por sus decisiones. Comuníquese con Rebecca Bellan en rebecca.bellan@techcrunch.com y Maxwell Zeff en maxwell.zeff@techcrunch.com. Para una comunicación segura, puede contactarnos a través de la señal en @rebeccabellan.491 y @mzeff.88.