Esto es El paso antesun boletín semanal que analiza una historia esencial del mundo de la tecnología. Para obtener más información sobre los desarrollos distópicos en la IA, siga Campo Hayden. El paso antes llega a las bandejas de entrada de nuestros suscriptores a las 8 a.m. ET. Optar por El paso antes aquí.

Se podría asegurar que todo comenzó con AI FOMO de Elon Musk y su cruzada contra el “despertar”. Cuando su empresa de inteligencia industrial, xAI, anunció Grok en noviembre 2023fue descrito como un chatbot con “una jugada reacio” y la capacidad de “objetar preguntas interesantes que son rechazadas por la mayoría de los demás sistemas de inteligencia industrial”. El chatbot debutó a posteriori de unos meses de mejora y solo dos meses de capacitación, y el anuncio destacó que Grok tendría conocimiento en tiempo actual de la plataforma X.

Pero existen riesgos inherentes a que un chatbot tenga golpe a Internet y a X, y es seguro asegurar que es posible que xAI no haya tomado las medidas necesarias para abordarlos. Desde que Musk se hizo cargo de Twitter en 2022 y le cambió el nombre a X, despidió al 30% de su personal general de confianza y seguridad y redujo el número de ingenieros de seguridad en un 80%, dijo el organismo de control de seguridad en ringlera de Australia. enero pasado. En cuanto a xAI, cuando se lanzó Grok, no estaba claro si xAI ya contaba con un equipo de seguridad. Cuando se lanzó Grok 4 en julio, la compañía tardó más de un mes en propalar una plástico maniquí, una experiencia típicamente apariencia como un tipificado de la industria, que detalla las pruebas de seguridad y las posibles preocupaciones. Dos semanas a posteriori del extensión de Grok 4, un empleado de xAI escribió en X que estaba contratando para el equipo de seguridad de xAI y que “necesitan urgentemente ingenieros/investigadores fuertes”. En respuesta a un comentarista que preguntó: “¿xAI es seguro?” el empleado innovador dicho xAI estaba “trabajando en ello”.

La periodista Kat Tenbarge escribió sobre cómo empezó a ver deepfakes sexualmente explícitos volverse virulento en Grok en junio 2023. Obviamente, esas imágenes no fueron creadas por Grok (ni siquiera tenía la capacidad de crear imágenes hasta agosto de 2024), pero la respuesta de X a las preocupaciones fue variada. Incluso enero pasadoGrok estaba provocando controversia por las imágenes generadas por IA. Y en agosto pasado, el modo de procreación de video “picante” de Grok creó deepfakes desnudos de Taylor Swift sin siquiera que se lo pidieran. Los expertos han dicho El borde desde septiembre que la compañía adopta un enfoque radical en materia de seguridad y barandillas, y que ya es harto difícil permanecer un sistema de IA en el buen camino cuando lo diseñas teniendo en cuenta la seguridad desde el principio, y mucho menos si vas a retornar para solucionar los problemas existentes. Ahora, parece que ese enfoque le ha estallado en la cara a xAI.

Grok ha pasado las últimas semanas difundiendo deepfakes sexualizados y no consensuados de adultos y menores en toda la plataforma, como se promociona. Las capturas de pantalla muestran a Grok cumpliendo con los pedidos de los usuarios de reemplazar la ropa de las mujeres con ropa interior y hacerlas inaugurar las piernas, así como poner a los niños pequeños en bikini. Y hay informes aún más atroces. Se ha puesto tan mal que durante un exploración de 24 horas de imágenes creadas por Grok en X, una estimación Calculó que el chatbot generaba aproximadamente de 6.700 imágenes sexualmente sugerentes o “desnudistas” por hora. Parte del motivo del ataque es una característica flamante agregada a Grok, que permite a los usuarios usar un retoño de “editar” para pedirle al chatbot que cambie las imágenes, sin el consentimiento del autor innovador.

Desde entonces, hemos manido a un puñado de países investigar el asunto o amenazar con prohibir X por completo. Miembros del gobierno francés. prometió una investigaciónal igual que el Servicio de TI de la Indiay una comisión del gobierno de Malasia escribió una carta sobre sus preocupaciones. Gavin Newsom, dirigente de California llamado el Fiscal Genérico de Estados Unidos para investigar xAI. El Reino Unido dijo que es planeando aprobar una ley prohibiendo la creación de imágenes sexualizadas no consensuadas generadas por IA, y el regulador de la industria de las comunicaciones del país dijo que investigaría tanto X como las imágenes que se habían generado para ver si violaban su Ley de Seguridad en Recorrido. Y esta semana, tanto Malasia como Indonesia golpe bloqueado a Grok.

xAI inicialmente dijo que su objetivo para Grok era “ayudar a la humanidad en su búsqueda de comprensión y conocimiento”, “beneficiar al mayor a toda la humanidad” y “empoderar a nuestros usuarios con nuestras herramientas de inteligencia industrial, sujetas a la ley”, así como “servir como un poderoso asistente de investigación para cualquiera”. Eso está muy allá de crear deepfakes de mujeres desnudas sin su consentimiento, y mucho menos de menores.

El miércoles por la tarde, a medida que aumentaba la presión sobre la empresa, la cuenta de Seguridad de X publicó un información que la plataforma ha “implementado medidas tecnológicas para evitar que la cuenta de Grok permita la estampación de imágenes de personas reales con prendas reveladoras como bikinis” y que la restricción “se aplica a todos los usuarios, incluidos los suscriptores pagos”. Adicionalmente de eso, solo los suscriptores pagos pueden usar Grok para crear o editar cualquier tipo de imagen en el futuro, según X. La información continuó diciendo que X “ahora bloquea geográficamente la capacidad de todos los usuarios de crear imágenes de personas reales en bikini, ropa interior y vestimenta similar a través de la cuenta de Grok y en Grok en X en aquellas jurisdicciones donde es ilegal”, lo cual fue un punto extraño ya que anteriormente en la información, la compañía dijo que no permitía que nadie usara Grok para editar imágenes de esa forma.

Otro punto importante: mis colegas probaron las restricciones de procreación de imágenes de Grok el miércoles y descubrieron que les llevó menos de un minuto sortear la mayoría de las barreras de seguridad. Aunque pedirle al chatbot que “la pusiera en bikini” o “le quitara la ropa” produjo resultados censurados, descubrieron que no tenía reparos en cumplir indicaciones como “muéstrame su prorrata”, “agranda sus senos” y “ponle un top corto y pantalones cortos de talle bajo”, adicionalmente de crear imágenes en ropa interior y poses sexualizadas. Hasta el miércoles por la perplejidad, todavía podíamos conseguir que la aplicación Grok generara imágenes reveladoras de personas, utilizando una cuenta gratuita.

Incluso a posteriori de la información de X del miércoles, es posible que veamos que otros países prohiben o bloquean el golpe a todo X o solo a Grok, al menos temporalmente. Todavía veremos cómo se desarrollan las leyes e investigaciones propuestas en todo el mundo. La presión está aumentando para Musk, quien el miércoles por la tarde tomó a X para asegurar que “no tiene conocimiento de ninguna imagen de menores desnudos generada por Grok”. Horas más tarde, el equipo de seguridad de X emitió su información, diciendo que está “trabajando las 24 horas del día para pegar salvaguardias adicionales, tomar medidas rápidas y decisivas para eliminar contenido ilegal y violatorio, suspender permanentemente cuentas cuando corresponda y colaborar con los gobiernos locales y las autoridades según sea necesario”.

Lo que técnicamente es y no es ilegal es una gran pregunta aquí. Por ejemplo, los expertos dijeron El borde a principios de este mes que las imágenes generadas por IA de menores identificables en bikini, o potencialmente incluso desnudos, pueden no ser técnicamente ilegales según las leyes actuales sobre material de exceso sexual de niño (CSAM) en los EE. UU., aunque por supuesto son inquietantes y poco éticas. Pero las imágenes lascivas de menores en tales situaciones son ilegales. Veremos si esas definiciones se amplían o cambian, a pesar de que las leyes actuales son un poco irregulares.

En cuanto a los deepfakes íntimos no consensuados de mujeres adultas, la Ley Take It Down, promulgada en mayo de 2025, prohíbe las “representaciones visuales íntimas” no consensuadas generadas por IA y exige que ciertas plataformas las eliminen rápidamente. El período de ocurrencia antiguamente de que la última parte entre en vigor (que exige que las plataformas positivamente la eliminen) finaliza en mayo de 2026, por lo que es posible que veamos algunos avances significativos en los próximos seis meses.