California ha donado un gran paso en dirección a la regulación de la IA. SB 243 – Un tesina de ley que regularía los chatbots complementarios de IA para proteger a menores y usuarios vulnerables, aprobó tanto la Asamblea Estatal como el Senado con soporte bipartidista y ahora se dirige al escritorio del jefe Gavin Newsom.

Newsom tiene hasta el 12 de octubre para prohibir el tesina de ley o firmarlo. Si firma, entraría en vigencia el 1 de enero de 2026, lo que hace que California sea el primer estado en exigir a los operadores de chatbot de IA que implementen protocolos de seguridad para compañeros de IA y responsabilicen legalmente a las empresas si sus chatbots no cumplen con esos estándares.

El tesina de ley tiene como objetivo específicamente evitar chatbots complementarios, que la estatuto define como sistemas de IA que proporcionan respuestas adaptativas y humanas y que son capaces de satisfacer las micción sociales de un afortunado, de participar en conversaciones en torno a la ideación suicida, la autolesión o el contenido sexualmente palmario. El tesina de ley requeriría que las plataformas proporcionen alertas recurrentes a los usuarios, cada tres horas para los menores, recordándoles que están hablando a un chatbot de IA, no a una persona verdadero, y que deberían tomar un alivio. Todavía establece requisitos anuales de informes y transparencia para las compañías de IA que ofrecen chatbots complementarios, incluidos los principales jugadores OpenAi, el personaje. AI y Replika, que entrarían en vigencia el 1 de julio de 2027.

El tesina de ley de California además permitiría a las personas que creen que han sido lesionadas por violaciones para presentar demandas contra compañías de IA que buscan un alivio cautelar, daños (hasta $ 1,000 por violación) y honorarios de abogados.

El tesina de ley ganó impulso en la Sesión de California luego de la homicidio del adolescente Adam Raine, quien se suicidó luego de chats prolongados con el chatgpt de Opensei que implicaba discutir y planificar su homicidio y autolesión. La estatuto además avala a documentos internos filtrados que, según los informes, mostraron que los chatbots de Meta se les permitió participar en chats “románticos” y “sensuales” con niños.

En las últimas semanas, los legisladores y reguladores estadounidenses han respondido con el pesquisa intensificado de las salvaguardas de las plataformas de IA para proteger a los menores. El Comisión federal se está preparando para investigar cómo los chatbots de IA impactan la vitalidad mental de los niños. El fiscal universal de Texas, Ken Paxton, ha animado investigaciones sobre meta y carácter. Ai, acusándolos de niños engañosos con reclamos de vitalidad mental. Mientras tanto, tanto el senador Josh Hawley (R-Mo) como Senador Ed Markey (D-MA) han animado sondas separadas en meta.

“Creo que el daño es potencialmente excelente, lo que significa que tenemos que movernos rápidamente”, dijo Padilla a TechCrunch. “Podemos establecer salvaguardas razonables para asegurarnos de que en particular los menores sepan que no están hablando con un ser humano verdadero, que estas plataformas vinculan a las personas con los posibles apropiados cuando las personas dicen cosas como están pensando en lastimarse a sí mismas o en apuros (y) para cerciorarse de que no haya una exposición inapropiada a un material inapropiado”.

Padilla además enfatizó la importancia de que las compañías de IA compartan datos sobre la cantidad de veces que remiten a los usuarios a los servicios de crisis cada año, “por lo que tenemos una mejor comprensión de la frecuencia de este problema, en punto de solo darnos cuenta cuando determinado está perjudicado o peor”.

SB 243 anteriormente tenía requisitos más fuertes, pero muchos se redujeron a través de enmiendas. Por ejemplo, el tesina de ley originalmente habría requerido que los operadores eviten que los chatbots de IA usen tácticas de “premio variable” u otras características que fomenten el compromiso excesivo. Estas tácticas, utilizadas por compañías complementarias de IA como Replika y personaje, ofrecen a los usuarios mensajes especiales, expresiones, historias o la capacidad de desbloquear respuestas raras o nuevas personalidades, creando lo que los críticos llaman un rizo de premio potencialmente adictivo.

El tesina de ley presente además elimina las disposiciones que habrían requerido que los operadores rastreen e informen con qué frecuencia los chatbots iniciaron discusiones sobre ideación suicida o acciones con los usuarios.

“Creo que logra el consistencia correcto de causar daños sin hacer cumplir poco que es inverosímil de cumplir con las empresas, ya sea porque técnicamente no es factible o simplemente mucho papeleo para falta”, dijo Becker a TechCrunch.

SB 243 se está moviendo para convertirse en ley en un momento en que las compañías de Silicon Valley están invirtiendo millones de dólares en los Comités de Energía Política de Pro-AI (PAC) para respaldar a los candidatos en las próximas elecciones de porción de período que favorecen un enfoque de toque veloz para la regulación de la IA.

El tesina de ley además se produce cuando California pesa otro tesina de ley de seguridad de IA, SB 53, lo que exigiría los requisitos integrales de informes de transparencia. Operai ha escrito una carta abierta al jefe Newsom, pidiéndole que abandone ese tesina de ley a auxilio de marcos federales e internacionales menos estrictos. Las principales compañías tecnológicas como Meta, Google y Amazon además se han opuesto a SB 53. En contraste, solo Anthrope ha dicho que admite SB 53.

“Rechazo la premisa de que esta es una situación de suma cero, que la innovación y la regulación son mutuamente excluyentes”, dijo Padilla. “No me digas que no podemos caminar y masticar chicle. Podemos apoyar la innovación y el crecimiento que creemos que es saludable y tiene beneficios, y hay beneficios para esta tecnología, claramente, y al mismo tiempo, podemos proporcionar salvaguardas razonables para las personas más vulnerables”.

“Estamos monitoreando de cerca el panorama parlamentario y regulatorio, y damos la bienvenida a trabajar con reguladores y legisladores a medida que comienzan a considerar la estatuto para este espacio emergente”, dijo un personaje. El portavoz de AI, dijo a TechCrunch, señalando que la startup ya incluye renuncias destacadas a lo dispendioso de la experiencia de chat del afortunado que explica que debería ser tratado como la ficción.

Un portavoz de Meta declinó hacer comentarios.

TechCrunch se ha comunicado con OpenAi, Anthrope y Replika para hacer comentarios.