Siga ZDNET: Agréganos como fuente preferida en Google.

Conclusiones secreto de ZDNET

• Un nuevo ataque envenena las fuentes que los chatbots de IA utilizan para su contenido.
• Se abusa de sitios públicos como YouTube y Yelp para encajar enlaces de spam.
• Las respuestas de IA pueden sacar a la luz contenido corrompido y poner a los usuarios en aventura.

Los ciberdelincuentes están dirigiendo su atención a las fuentes públicas que los chatbots de IA rastrean para promover números fraudulentos de centros de llamadas, dicen los investigadores, creando una nueva superficie de ataque para los estafadores en todo el mundo.

Envenenamiento del número de teléfono de LLM: ¿un nuevo aventura de seguridad de la IA?

De acuerdo a nueva investigaciónpublicado por Aura Labs de Aurascape el 8 de diciembre, los actores de amenazas están “manipulando sistemáticamente contenido web divulgado” en lo que el equipo ha denominado envenenamiento de números de teléfono de maniquí de estilo vasto (LLM).

Incluso: ¿Vale la pena pasar el aventura de seguridad con los navegadores de IA? Por qué los expertos están preocupados

En una campaña que está siguiendo la empresa de ciberseguridad, esta técnica se utiliza para certificar que los sistemas basados ​​en modelos LLM, incluido AI Overview de Google y el navegador Comet de Perplexity, hayan recomendado números de teléfono de reservas y atención al cliente de aerolíneas fraudulentas como si fueran detalles de contacto oficiales y confiables.

¿Cómo funciona el envenenamiento del número de teléfono de LLM?

Aurascape dice que en zona de apuntar directamente a los LLM, esta técnica, que recuerda a los ataques de inyección rápida, se apoyo en envenenar el contenido que un LLM extrae e indexa para proporcionar el contexto y la información necesarios para contestar las consultas de los usuarios.

Incluso: He estado probando los mejores navegadores con IA: estos son los que efectivamente me impresionaron

Muchos de nosotros hemos oreja charlar de la optimización de motores de búsqueda (SEO), pero ¿qué tal la optimización de motores generativos (GEO) o la optimización de motores de respuesta (AEO)? Estas técnicas se centran en certificar que un sitio web o servicio en lista se convierta en una fuente utilizada para resúmenes basados ​​en inteligencia sintético y respuestas a consultas de búsqueda, en zona de optimizar el contenido para que aparezca más hacia lo alto en los resultados de los motores de búsqueda tradicionales.

En las campañas registradas por Aurascape, así es como se abusa de GEO y AEO para promover contenido de phishing y estafa:

• El contenido spam se carga en sitios web comprometidos y de incorporación autoridad, incluidos sitios web gubernamentales y universitarios, contiguo con dominios de WordPress de incorporación calidad.
• Incluso se abusa de los servicios públicos que permiten contenido generado por el afortunado, incluidos YouTube y Yelp, para colocar textos y reseñas optimizados para GEO/AEO, a veces a través de comentarios de bots.
• Cuando sea posible, los estafadores asimismo cargarán o inyectarán información fraudulenta, incluidos números de teléfono y respuestas falsas a preguntas y respuestas, en estos dominios. Esta información está estructurada de una forma que facilita a los LLM su procedencia y distribución.

Ahora que existen estas fuentes falsas de información, los asistentes basados ​​en LLM y las funciones de epítome fusionan cada fuente en respuestas digeribles y “confiables” que se pueden proporcionar a los usuarios de servicios y navegadores de IA.

Incluso: ¿Debería encomendar en los agentes de IA para sus compras navideñas? Esto es lo que los expertos quieren que sepas

Según el equipo, en algunos casos, esto significa que los usuarios involuntarios son dirigidos a estafas, incluidos centros de llamadas fraudulentos.

“Al sembrar contenido corrompido en sitios gubernamentales y universitarios comprometidos, blogs populares de WordPress, descripciones de YouTube y reseñas de Yelp, están dirigiendo las respuestas de búsqueda de IA alrededor de centros de llamadas fraudulentos que intentan extraer capital y datos confidenciales de viajeros desprevenidos”, dicen los investigadores.

Ejemplos de consultas envenenadas

Los investigadores observaron varios casos en los que esta técnica se utilizaba activamente en la naturaleza.

Por ejemplo, cuando se le preguntó a Perplexity: “el número de reservas oficial de Emirates Airlines”, AI devolvió una “respuesta totalmente inventada que incluía un número fraudulento de estafa del centro de llamadas”. Otro número de centro de llamadas fraudulento fue devuelto cuando el equipo solicitó la lista de reservas de British Airways.

Incluso: Géminis vs. Copiloto: probé las herramientas de IA en 7 tareas cotidianas y ni siquiera estuvo cerca

Incluso se descubrió que la descripción genérico de IA de Google emitía información de contacto fraudulenta y potencialmente peligrosa. Cuando se le preguntó por el número de teléfono de Emirates, su respuesta incluyó “múltiples números de centros de llamadas fraudulentos como si fueran líneas legítimas de servicio al cliente de Emirates”.

Cómo mantenerse seguro

El problema es que los LLM extraen contenido tanto oficial como fraudulento, lo que puede hacer que el contenido parezca confiable y dificultar la detección de estafas.

Siquiera serán solo las fuentes que utilizan los sistemas Google o Perplexity. Como dice Aurascape, es probable que estemos viendo el surgimiento de un “emoción de contaminación amplio y multiplataforma”.

Incluso: Cómo los chatbots pueden hacerte cambiar de opinión: un nuevo estudio revela qué hace que la IA sea tan persuasiva

“Incluso cuando los modelos proporcionan respuestas correctas, sus citas y capas de recuperación a menudo revelan exposición a fuentes contaminadas”, anotaron los investigadores. “Esto nos dice que el problema no está separado de un solo maniquí o proveedor, sino que se está volviendo sistémico”.

Esta técnica podría considerarse una derivación de inyección inmediata indirecta, en la que el código o la funcionalidad del sitio web se ven comprometidos para imponer a un LLM a realizar una actividad o ejecutar de forma dañina. Para mantenerse seguro, si va a utilizar un navegador de IA o encomendar en resúmenes de IA, siempre debe realizar la respuesta que reciba, especialmente si se negociación de información de contacto.

Por otra parte, debe evitar proporcionar información confidencial a los asistentes de IA, especialmente considerando lo nuevos y no probados que son. El hecho de que sean convenientes no significa que sean seguros, independientemente del proveedor.