Los adolescentes están tratando de descubrir dónde encajan en un mundo que cambia más rápido que cualquier concepción preparatorio. Están llenos de emociones, hiperestimulados y crónicamente en camino. Y ahora, las empresas de inteligencia industrial les han proporcionado chatbots diseñados para no dejar de conversar nunca. Los resultados han sido catastróficos.

Una empresa que entiende estas consecuencias es Character.AI, una startup de juegos de rol de IA que enfrenta demandas y protestas públicas posteriormente de al menos dos adolescentes murió por suicidio tras prolongadas conversaciones con chatbots de IA en su plataforma. Ahora, Character.AI está realizando cambios en su plataforma para proteger a adolescentes y niños, cambios que podrían afectar los resultados de la startup.

“Lo primero que hemos decidido como Character.AI es que eliminaremos la posibilidad de que los usuarios menores de 18 abriles participen en chats abiertos con IA en nuestra plataforma”, dijo a TechCrunch Karandeep Anand, director ejecutante de Character.AI.

La conversación abierta se refiere al intercambio sin restricciones que ocurre cuando los usuarios le dan un mensaje a un chatbot y este avala con preguntas de seguimiento que los expertos dicen están diseñados para persistir a los usuarios interesados. Anand sostiene que este tipo de interacción, en la que la IA actúa como un compañero de conversación o un amigo en empleo de una aparejo creativa, no sólo es riesgosa para los niños, sino que no se alinea con la visión de la empresa.

La startup está intentando tener lugar de ser un “compañero de IA” a una “plataforma de juegos de roles”. En empleo de charlar con un amigo IA, los adolescentes utilizarán indicaciones para construir historias de forma colaborativa o originar imágenes. En otras palabras, el objetivo es trasladar el compromiso de la conversación a la creación.

Character.AI eliminará gradualmente el comunicación al chatbot para adolescentes ayer del 25 de noviembre, comenzando con un tope diario de dos horas que se reducirá progresivamente hasta obtener a cero. Para respaldar que esta prohibición se mantenga para usuarios menores de 18 abriles, la plataforma implementará una aparejo interna de comprobación de permanencia que analiza el comportamiento del adjudicatario, así como herramientas de terceros como Persona. Si esas herramientas fallan, Character.AI utilizará inspección facial y controles de identificación para efectuar las edades, dijo Anand.

El movimiento sigue a otros. protecciones adolescentes que Character.AI ha implementado, incluida la entrada de una aparejo de información para padres, personajes filtrados, conversaciones románticas limitadas y notificaciones de tiempo invertido. Anand le dijo a TechCrunch que esos cambios hicieron que la compañía perdiera gran parte de su almohadilla de usuarios menores de 18 abriles y calma que estos nuevos cambios sean igualmente impopulares.

“Es seguro encargarse que muchos de nuestros usuarios adolescentes probablemente se sentirán decepcionados… por lo que esperamos que se produzca una decano rotación”, dijo Anand. “Es difícil especular: ¿se mudarán todos por completo o algunos pasarán a estas nuevas experiencias que hemos estado construyendo durante los últimos siete meses?”

Como parte del impulso de Character.AI para alterar la plataforma de una aplicación centrada en el chat a una “Plataforma social completa basada en contenido” La startup lanzó recientemente varias funciones nuevas centradas en el entretenimiento.

En junio, Character.AI lanzó AvatarFX, un maniquí de concepción de videos que transforma imágenes en videos animados; Escenas, historias interactivas y precargadas donde los usuarios pueden entrar en narrativas con sus personajes favoritos; y Streams, una función que permite interacciones dinámicas entre dos personajes cualesquiera. En agosto, Character.AI lanzó Community Feed, una fuente social donde los usuarios pueden compartir sus personajes, escenas, videos y otro contenido que crean en la plataforma.

En un comunicado dirigido a usuarios menores de 18 abriles, Character.AI se disculpó por los cambios.

“Sabemos que la mayoría de ustedes usa Carácter.AI para potenciar su creatividad de maneras que se mantengan interiormente de los límites de nuestras reglas de contenido”, se lee en la manifiesto. “No tomamos este paso de eliminar el chat de personajes rajado a la ligera, pero creemos que es lo correcto dadas las preguntas que se han planteado sobre cómo los adolescentes interactúan y deberían interactuar con esta nueva tecnología”.

“No cerraremos la aplicación para menores de 18 abriles”, dijo Anand. “Solo estamos cerrando los chats abiertos para menores de 18 abriles porque esperamos que los usuarios menores de 18 abriles migren a estas otras experiencias y que esas experiencias mejoren con el tiempo. Por lo tanto, duplicar la puesta por los juegos de IA, los videos cortos de IA y la narración de historias de IA en común. Esa es la gran puesta que estamos haciendo para traer de dorso a los menores de 18 abriles si abandonan”.

Anand reconoció que algunos adolescentes podrían presentarse en masa a otras plataformas de inteligencia industrial, como OpenAI, que les permiten tener conversaciones abiertas con chatbots. OpenAI igualmente ha sido criticado recientemente posteriormente de que un adolescente se quitara la vida tras largas conversaciones con ChatGPT.

“Efectivamente espero que liderar el camino establezca un típico en la industria de que para los menores de 18 abriles, los chats abiertos probablemente no sean el camino o el producto a ofrecer”, dijo Anand. “Para nosotros, creo que las compensaciones son las correctas. Tengo una pupila de seis abriles y quiero asegurarme de que crezca en un bullicio muy seguro con IA de modo responsable”.

Character.AI está tomando estas decisiones ayer de que los reguladores le obliguen. El martes, los senadores Josh Hawley (R-MO) y Richard Blumenthal (D-CT) dijeron que introducir reglamento prohibir que los compañeros de chatbot de IA estén disponibles para menores, luego de quejas de padres que dijeron que los productos empujaban a sus hijos a conversaciones sexuales, autolesiones y suicidio. A principios de este mes, California se convirtió en el primer estado en regular los chatbots complementarios de IA al responsabilizar a las empresas si sus chatbots no cumplen con los estándares de seguridad de la ley.

Adicionalmente de esos cambios en la plataforma, Character.AI dijo que establecería y financiaría AI Safety Lab, una ordenamiento independiente sin fines de provecho dedicada a innovar la afiliación de seguridad para las futuras funciones de entretenimiento de AI.

“Se está trabajando mucho en la industria en codificación y mejora y otros casos de uso”, dijo Anand. “No creemos que todavía se haya trabajado lo suficiente en la IA agente que impulsa el entretenimiento, y la seguridad será muy crítica para eso”.