Las alucinaciones de IA conducen a una nueva amenaza cibernética: slopsquatting

Los investigadores han descubierto un nuevo ataque de la sujeción de suministro llamado Slopsquatting, donde los actores de amenaza explotar nombres de paquetes alucinados e inexistentes Generado por herramientas de codificación de IA como GPT-4 y Codellama. Estos paquetes creíbles pero falsos, que representan casi el 20% de las muestras probadas, pueden ser registradas por atacantes para distribuir código desconfiado. Informes en linde de CSO: SlopSquatting, como lo llaman los investigadores, es un término primero acuñado por Seth Larson, un desarrollador de seguridad en residencia en Python Software Foundation (PSF), por su referencia con la técnica de tipogratación. En circunscripción de encargar en el error de un becario, como en los tyiposquats, los actores de amenaza confían en el error de un maniquí de IA. Se encontró que un número significativo de paquetes, que ascienden al 19.7% (205,000 paquetes), recomendados en muestras de prueba son falsos. Los modelos de código libre, como Deepseek y WizardCoder, alucinados con más frecuencia, con el 21.7% en promedio, en comparación con los comerciales (5.2%) como GPT 4. Los investigadores encontraron que Codellama (alucinando sobre un tercio de los resultados) es el peor delincuente y GPT-4 turbo (solo 3.59% alucinaciones) como el mejor desempeño.

Estas alucinaciones de paquetes son particularmente peligrosas, ya que se descubrió que eran persistentes, repetitivas y creíbles. Cuando los investigadores reran 500 indicaciones que habían producido previamente paquetes alucinados, el 43% de las alucinaciones reaparecían cada vez en 10 re-ejes sucesivas, con el 58% de ellos apareciendo en más de una carrera. El estudio concluyó que esta persistencia indica “que la mayoría de las alucinaciones no son solo ruido accidental, sino artefactos repetibles de cómo responden los modelos a ciertas indicaciones”. Esto aumenta su valencia para los atacantes, agregó. Adicionalmente, se observó que estos nombres de paquetes alucinados eran “semánticamente convincentes”. El treinta y ocho por ciento de ellos tenía una similitud de sujeción moderada con paquetes reales, lo que sugiere una estructura de nombres similar. “Solo el 13% de las alucinaciones eran errantes simples fuera de uno”, agregó Socket. La investigación puede encontrarse en un artículo en arxiv.org (PDF).

Related Posts

Jeff Bezos supuestamente quiere 100 mil millones de dólares para comprar y variar antiguas empresas manufactureras con IA

Según se informa, Jeff Bezos está buscando 100 mil millones de dólares para un nuevo fondo, que se utilizará para comprar empresas en los principales sectores industriales y, en última…

OpenAI está planeando una ‘superaplicación’ de escritorio

OpenAI está trabajando en una “superaplicación” de escritorio que fusiona su aplicación ChatGPT, la aplicación de codificación Codex AI y su navegador Atlas con tecnología de inteligencia fabricado en una…

You Missed

Jeff Bezos supuestamente quiere 100 mil millones de dólares para comprar y variar antiguas empresas manufactureras con IA

Jeff Bezos supuestamente quiere 100 mil millones de dólares para comprar y variar antiguas empresas manufactureras con IA

Medidas de Trump frente a ascensión del precio de la gasolina

Medidas de Trump frente a ascensión del precio de la gasolina

Aprueban moneda de oro con la imagen de Trump por el 250 aniversario de EE.UU.

Aprueban moneda de oro con la imagen de Trump por el 250 aniversario de EE.UU.

Jefes de representación elogian villa de atletas de JCC Santo Domingo | AlMomento.net

Jefes de representación elogian villa de atletas de JCC Santo Domingo | AlMomento.net

OpenAI está planeando una ‘superaplicación’ de escritorio

OpenAI está planeando una ‘superaplicación’ de escritorio

Sensato y Cilia Flores insisten en que no pueden financiar su defensa

Sensato y Cilia Flores insisten en que no pueden financiar su defensa