La FTC anunció el jueves que está lanzando un consulta En siete compañías tecnológicas que fabrican productos complementarios de chatbot AI para menores: alfabeto, caracteres, instagram, meta, openAI, snap y xai.

El regulador federal pesquisa formarse cómo estas compañías están evaluando la seguridad y la monetización de los compañeros de chatbot, cómo intentan impedir los impactos negativos en los niños y los adolescentes, y si los padres se entienden de los riesgos potenciales.

Esta tecnología ha demostrado ser controvertida por sus malos resultados para los usuarios de niños. OpenAi y carácter. AIRA ALICIONES DE LAS FAMILIAS DE LOS NIÑOS QUE MUCHARÍA POR SUICIDAD A posteriori de ser alentados a hacerlo por los compañeros de chatbot.

Incluso cuando estas compañías tienen barandas configuradas para cortar o desescalizar conversaciones sensibles, los usuarios de todas las edades han incompatible formas de evitar estas salvaguardas. En el caso de Operai, un adolescente había hablado con ChatGPT durante meses sobre sus planes de terminar su vida. Aunque ChatGPT inicialmente buscó redirigir al adolescente en torno a la ayuda profesional y las líneas de emergencia en trayecto, pudo engañar al chatbot para compartir instrucciones detalladas que luego usó en su suicidio.

“Nuestras salvaguardas funcionan de modo más confiable en global, intercambios cortos”, Openai escribió En una publicación de blog en ese momento. “Hemos aprendido con el tiempo que estas salvaguardas a veces pueden ser menos confiables en interacciones largas: a medida que crece el regreso y el final, las partes del entrenamiento de seguridad del maniquí pueden degradarse”.

Meta todavía ha sido criticado por sus reglas demasiado laxas para sus chatbots de IA. Según un documento abundante que describe los “estándares de aventura de contenido” para los chatbots, meta permitió sus compañeros de IA tener conversaciones “románticas o sensuales” con niños. Esto solo se eliminó del documento a posteriori de que los reporteros de Reuters le preguntaron a Meta al respecto.

Los chatbots de IA todavía pueden presentar peligros para los usuarios de época vanguardia. Un hombre de 76 abriles, que se quedó cognitivo con un golpazo por un derrame cerebral, entabló conversaciones románticas con un bot Messenger de Facebook inspirado por Kendall Jenner. El chatbot lo invitó a visitarla en la ciudad de Nueva Yorka pesar del hecho de que ella no es una persona existente y no tiene una dirección. El hombre expresó incredulidad de que ella era existente, pero la IA le aseguró que habría una mujer existente esperándolo. Nunca llegó a Nueva York; Se cayó en camino a la etapa de tren y sufrió heridas que terminó la vida.

Algunos profesionales de la vigor mental han notado un aumento en la “psicosis relacionada con la IA”, en la que los usuarios se engañan al pensar que su chatbot es un ser consciente a quien necesitan liberar. Legado que muchos modelos de idiomas grandes (LLM) están programados para halagar a los usuarios con un comportamiento sycófánico, los chatbots de IA pueden hacer huevos en estas delirios, lo que lleva a los usuarios a predicamentos peligrosos.

“A medida que evolucionan las tecnologías de IA, es importante considerar los pertenencias que los chatbots pueden tener en los niños, al tiempo que garantiza que Estados Unidos mantenga su papel como líder integral en esta nueva y emocionante industria”, dijo el presidente de la FTC, Andrew N. Ferguson. en un comunicado de prensa.