Los especialistas en marketing promueven herramientas de desarrolladores asistidas por AI-como caballos de batalla que son esenciales para el ingeniero de software coetáneo. La plataforma de desarrollador Gitlab, por ejemplo, afirma que su dúo Chatbot puede “ocasionar instantáneamente una repertorio de tareas” que elimina la carga de “recorrer a través de semanas de comodidades”. Lo que estas compañías no dicen es que estas herramientas son, por temperamento, si no por defecto, fácilmente engañadas por actores maliciosos para que realicen acciones hostiles contra sus usuarios.

Investigadores de la firma de seguridad Legit el jueves demostrado Un ataque que indujo dúo a insertar código bellaco en un script que recibió instrucciones de escribir. El ataque asimismo podría filtrar el código privado y los datos de problemas confidenciales, como los detalles de vulnerabilidad del día cero. Todo lo que se requiere es que el beneficiario instruya al chatbot que interactúe con una solicitud de fusión o contenido similar de una fuente externa.

Hoja de doble filo de los asistentes de IA

El mecanismo para desencadenar los ataques es, por supuesto, inyecciones rápidas. Entre las formas más comunes de exploits de chatbot, las inyecciones rápidas se integran en el contenido que se le pide a un chatbot que trabaje, como un correo electrónico para ser respondido, un calendario para consultar o una página web para resumir. Los asistentes basados ​​en modelos de idiomas grandes están tan ansiosos por seguir las instrucciones que tomarán pedidos de casi cualquier oportunidad, incluidas las fuentes que pueden ser controladas por actores maliciosos.

Los ataques dirigidos al dúo provienen de varios fortuna que los desarrolladores utilizan comúnmente. Los ejemplos incluyen solicitudes de fusión, confirmaciones, descripciones y comentarios de errores, y código fuente. Los investigadores demostraron cómo las instrucciones integradas internamente de estas fuentes pueden resistir a los dúo por mal camino.

“Esta vulnerabilidad destaca la naturaleza de doble filo de los asistentes de IA como Gitlab Duo: cuando se integran profundamente en los flujos de trabajo de ampliación, heredan no solo el contexto, sino el aventura”, escribió el investigador probado Omer Mayraz. “Al integrar las instrucciones ocultas en el contenido de proyectos aparentemente inofensivos, pudimos manipular el comportamiento del dúo, exfiltrar el código fuente privado y demostrar cómo las respuestas de AI pueden aprovecharse para obtener resultados no intencionados y dañinos”.