ztevenreal
- Una nueva investigación muestra que las herramientas de IA están siendo utilizadas y abusadas por los cibercriminales
- Los piratas informáticos están creando herramientas que explotan LLM legítimas
- Los delincuentes todavía están capacitando sus propios LLM
Es innegable que la IA está siendo utilizada por equipos de ciberseguridad y cibercriminales, pero una nueva investigación de Cisco Talos revela que los delincuentes se están volviendo creativos. El final ampliación en el panorama de IA/ciberseguridad es que los LLM ‘sin censura’, los LLM de Jailbreak y los LLM diseñados por cibercrimen se están aprovechando contra los objetivos.
Recientemente se reveló que los modelos de AI de Grok y Mistral estaban impulsando variantes WORMGPT que generaban código receloso, ataques de ingeniería social e incluso proporcionando tutoriales de piratería, por lo que claramente se está convirtiendo en una táctica popular.
Los LLM están construidos con características de seguridad y barandas, asegurando un sesgo y expectativas mínimas que consisten con los títulos y la ética humanos, así como para cerciorarse de que los chatbots no participen en un comportamiento dañino, como crear malware o correos electrónicos de phishing, pero hay trabajo cerca de.
Jailbroken y sin censura
Los llamados LLM sin censura observados en esta investigación son versiones de los modelos de IA que operan fuera de las limitaciones normales. Esto significa que pueden realizar tareas para los delincuentes y crear contenido dañino. Estos son proporcionado fáciles de encontrar, según la investigación, y son fáciles de ejecutar, con solo indicaciones relativamente simples requeridas.
Algunos delincuentes han ido un paso más allá, creando sus propios LLM, como WORMGPT, Fraudgpt y DarkGPT. Estos se comercializan para malos actores y tienen una gran cantidad de características nefastas. Por ejemplo, FraudGPT afirma poder crear scripts automáticos para replicar registros/cookies, escribir páginas/cultura de estafa, encontrar fugas y vulnerabilidades, e incluso asimilar a codificar/piratear.
Otros navegan cerca de de las características de seguridad de los modelos de IA legítimos a través de chatbots ‘jailbreaking’. Esto se puede hacer utilizando ‘técnicas de obfusión’, que incluyen la codificación Base64/Rot-13, utilizando diferentes idiomas, “L33T SP34K”, emojis e incluso código Morse.
“A medida que la tecnología de IA continúa desarrollándose, Cisco Talos prórroga que los cibercriminales continúen adoptando LLM para ayudar a simplificar sus procesos, escribir herramientas/scripts que se pueden utilizar para comprometer a los usuarios y crear contenido que puede evitar las defensas. Esta nueva tecnología no necesariamente no es necesariamente cibercriminal con los ciberdeminales con las armas completamente nuevas, pero actúa como una fuerza multiplicador, mejorando y mejorando los ataques familiares.
