“Los sistemas de IA agente están siendo armados”.

Esa es una de las primeras líneas del nuevo crónica de inteligencia de amenazas de Anthrope, que hoy detalla la amplia variedad de casos en los que Claude, y probablemente muchos otros agentes y chatbots de IA principales, están siendo abusados.

Primero: “Hacacas de ambientes”. Un sofisticado anillo de delito cibernético que Anthrope dice que recientemente interrumpió el código Claude usado, el agente de codificación de AI de Anthrope, para trastornar los datos de al menos 17 organizaciones diferentes en todo el mundo en un mes. Las partes pirateadas incluyeron organizaciones de atención médica, servicios de emergencia, instituciones religiosas e incluso entidades gubernamentales.

“Si eres un actor sofisticado, lo que de otro modo hubiera requerido tal vez un equipo de actores sofisticados, como el caso de apilamiento de vibrantes, para conducir, ahora, un solo individuo puede conducir, con la ayuda de sistemas de agente”, dijo Jacob Klein, caudillo del equipo de inteligencia de amenazas de Anthropy, dijo El borde en una entrevista. Agregó que en este caso, Claude estaba “ejecutando la operación de extremo a extremo”.

Anthrope escribió en el crónica que en casos como este, AI “sirve como un asesor técnico y un cirujano activo, lo que permite ataques que serían más difíciles y requieren mucho tiempo para que los actores individuales se ejecuten manualmente”. Por ejemplo, Claude se usó específicamente para escribir “demandas de molestia psicológicamente dirigidas”. Luego, los ciberdelincuentes descubrieron cuánto valdrían los datos, que incluían datos de atención médica, información financiera, credenciales gubernamentales y más, en la web oscura e hicieron demandas de rescate superiores a $ 500,000, por antrópico.

“Este es el uso más sofisticado de los agentes que he manido … para la ataque cibernética”, dijo Klein.

En otro estudio de caso, Claude ayudó a los trabajadores de TI de Corea del Finalidad a obtener fraudulentamente empleos en las empresas Fortune 500 en los EE. UU. Para financiar el software de armas del país. Por lo normal, en tales casos, Corea del Finalidad intenta rendir a las personas que han estado en la universidad, tener su experiencia o tener cierta capacidad para comunicarse en inglés, según Klein, pero dijo que en este caso, la barrera es mucho beocio para que las personas en Corea del Finalidad pasen entrevistas técnicas en grandes empresas tecnológicas y luego mantengan sus trabajos.

Con la ayuda de Claude, Klein dijo: “Estamos viendo personas que no saben cómo escribir código, no saben cómo comunicarse profesionalmente, conocer muy poco sobre el idioma o la civilización inglesa, que solo le piden a Claude que haga todo … y luego una vez que consigan el trabajo, la viejo parte del trabajo que están haciendo con Claude mantienen el trabajo”.

Otro estudio de caso involucró una estafa romántica. Un bot de telegrama con más de 10,000 usuarios mensuales anunció a Claude como un “maniquí de EQ stop” para ayudar a difundir mensajes emocionalmente inteligentes, aparentemente para estafas. Permitió a los hablantes de inglés no nativos escribir mensajes persuasivos y complementarios para vencer la confianza de las víctimas en los Estados Unidos, Japón y Corea, y pedirles billete. Un ejemplo en el crónica mostró a un sucesor cargando una imagen de un hombre con igualada y preguntando cómo complementarlo.

En el crónica, el propio Anthrope reconoce que, aunque la compañía ha “desarrollado sofisticadas medidas de seguridad para evitar el mal uso” de su IA, y aunque las medidas son “generalmente efectivas”, los malos actores aún a veces logran encontrar formas de evitarlas. Anthrope dice que la IA ha estrecho las barreras para el delito cibernético sofisticado y que los malos actores usan la tecnología para perfilar a las víctimas, automatizar sus prácticas, crear identidades falsas, analizar datos robados, robar información de la polímero de crédito y más.

Cada uno de los estudios de caso en el crónica se suma a la creciente cantidad de evidencia de que las compañías de IA, lo intenten, a menudo no pueden mantenerse al día con los riesgos sociales asociados con la tecnología que están creando y sacando al mundo. “Aunque específicos de Claude, los estudios de caso presentados a continuación probablemente reflejan patrones de comportamiento consistentes en todos los modelos de IA fronterizos”, dice el crónica.

Anthrope dijo que para cada estudio de caso, prohibió las cuentas asociadas, creó nuevos clasificadores u otras medidas de detección y compartió información con las agencias gubernamentales apropiadas, como las agencias de inteligencia o la aplicación de la ley, confirmó Klein. Incluso dijo que los estudios de caso que vio su equipo son parte de un cambio más amplio en el peligro de IA.

“Hay este cambio en el que los sistemas de IA no son solo un chatbot porque ahora pueden tomar múltiples pasos”, dijo Klein, y agregó: “Son capaces de realizar acciones o actividades como estamos viendo aquí”.