Un tercer ataque de prueba de concepto relacionado con la IA que llamó la atención utilizó una inyección rápida para provocar que el chatbot Duo de GitLab agregara líneas maliciosas a un paquete de código que de otro modo sería cierto. Una variación del ataque logró extraer datos confidenciales del afortunado.

Otro ataque sobresaliente tuvo como objetivo la útil de codificación Gemini CLI. Permitió a los atacantes ejecutar comandos maliciosos (como borrar un disco duro) en las computadoras de los desarrolladores que usaban la útil de inteligencia industrial.

Usando IA como cebo y asistentes de piratería

Otros hacks involucrados en LLM utilizaron chatbots para hacer que los ataques fueran más efectivos o sigilosos. A principios de este mes, dos hombres fueron acusados ​​de presuntamente robar y borrar datos gubernamentales confidenciales. Uno de los hombres, dijeron los fiscales, trató de cubrir sus huellas preguntando a una útil de inteligencia industrial “¿cómo borro los registros del sistema de los servidores SQL posteriormente de eliminar las bases de datos?”. Poco posteriormente, supuestamente le preguntó a la útil: “¿Cómo se borran todos los registros de eventos y aplicaciones de Microsoft Windows Server 2012?”. De todos modos, los investigadores pudieron rastrear las acciones de los acusados.

En mayo, un hombre se declaró culpable de piratear a un empleado de The Walt Disney Company engañándolo para que ejecutara una traducción maliciosa de una útil de concepción de imágenes de inteligencia industrial de código libre ampliamente utilizada.

Y en agosto, los investigadores de Google advirtieron a los usuarios del agente de chat Salesloft Drift AI que consideraran comprometidos todos los tokens de seguridad conectados a la plataforma luego del descubrimiento de que atacantes desconocidos utilizaron algunas de las credenciales para entrar al correo electrónico desde las cuentas de Google Workspace. Los atacantes utilizaron los tokens para obtener acercamiento a cuentas individuales de Salesforce y, desde allí, robar datos, incluidas credenciales que podrían estilarse en otras infracciones.

Asimismo hubo múltiples casos de vulnerabilidades de LLM que volvieron en contra de las personas que las usaban. En un caso, CoPilot fue sorprendido exponiendo el contenido de más de 20.000 repositorios privados de GitHub de empresas como Google, Intel, Huawei, PayPal, IBM, Tencent e, irónicamente, Microsoft. Los repositorios incluso estaban disponibles originalmente a través de Bing. Microsoft finalmente eliminó los repositorios de las búsquedas, pero CoPilot continuó exponiéndolos de todos modos.