Los agentes de IA ahora tienen más golpe y más conexiones a los sistemas empresariales que cualquier otro software del entorno. Eso los convierte en una superficie de ataque más amplio que cualquier cosa que los equipos de seguridad hayan tenido que controlar antiguamente, y la industria aún no tiene un ámbito para ello. "Si se utiliza ese vector de ataque, puede resultar en una violación de datos, o incluso peor," dijo Spiros Xanthos, fundador y director ejecutor de Resolve AI, hablando en un evento nuevo de VentureBeat AI Impact Series. Los marcos de seguridad tradicionales se basan en interacciones humanas. Todavía no existe una estructura acordada para agentes de IA que tengan personajes y puedan trabajar de forma autónoma, señaló Jon Aniano, vicepresidente senior de productos y aplicaciones CRM de Zendesk, en el mismo evento. La IA agente se está moviendo más rápido de lo que las empresas pueden construir barreras de seguridad, y el Protocolo de contexto maniquí (MCP), si acertadamente reduce la complejidad de la integración, está empeorando el problema. La IA agente se está moviendo más rápido de lo que las empresas pueden construir barreras a su aproximadamente, según Aniano y otros líderes empresariales. Y el Model Context Protocol (MCP), aunque reduce la complejidad de la integración, no ayuda. “En este momento es un problema sin resolver porque estamos en el salvaje Oeste”, dijo Aniano. “Ni siquiera tenemos un protocolo técnico definido entre agentes en el que todas las empresas estén de acuerdo. ¿Cómo equilibrar las expectativas de los usuarios con lo que mantiene segura su plataforma?”

MCP todavía "extremadamente permisivo"

Las empresas se conectan cada vez más a los servidores MCP porque simplifican la integración entre agentes, herramientas y datos. Sin retención, los servidores MCP tienden a ser “extremadamente permisivos”, afirmó. En verdad, son “probablemente peores que una API”, sostuvo, porque las API al menos tienen más controles para imponer a los agentes. Los agentes actuales actúan en nombre de los humanos basándose en permisos explícitos, estableciendo así la responsabilidad humana. "Pero es posible que en el futuro tenga decenas, cientos de agentes con su propia identidad, su propio golpe," dijo Xantos. "Se convierte en una matriz muy compleja."

Aunque su startup está desarrollando agentes autónomos de IA para ingeniería de confiabilidad del sitio (SRE) y dirección de sistemas, reconoció que la industria “carece por completo del ámbito” para agentes autónomos. “Depende completamente de nosotros y de cualquiera que construya agentes determinar qué restricciones darles”, dijo. Y los clientes deben poder aguardar en esas decisiones. Algunas herramientas de seguridad existentes ofrecen golpe detallado (Splunk, por ejemplo, desarrolló un método para proporcionar golpe a ciertos índices en almacenes de datos subyacentes, señaló), pero la mayoría son más amplias y están orientadas a las personas. “Estamos tratando de resolver esto con las herramientas existentes”, dijo. "Pero no creo que sean suficientes para la era de los agentes”.

¿Quién es responsable cuando una IA no autentica erróneamente a un heredero?

En Zendesk y otros proveedores de plataformas de dirección de relaciones con los clientes (CRM), la IA está involucrada en una serie de interacciones de los usuarios, señaló Aniano; de hecho, ahora está en un “barriguita y una escalera que no hemos contemplado como empresas y como sociedad”.

Puede resultar complicado cuando la IA ayuda a los agentes humanos; la pista de auditoría puede convertirse en un jaleo. “Así que ahora tienes un humano hablando con un humano que está hablando con una IA”, señaló Aniano. “El humano le dice a la IA que actúe. ¿Quién tiene la falta si la actividad es incorrecta?” Esto se vuelve aún más complicado cuando hay “múltiples piezas de IA y múltiples humanos”." en la mezcla. Para evitar que los agentes se descarrilen, Zendesk tiende a ser “muy puro” en cuanto al golpe y el trascendencia; sin retención, los clientes pueden aclarar sus propias barandillas según sus micción. En la mayoría de los casos, la IA puede consentir a fuentes de conocimiento, pero no escribe código ni ejecuta comandos en servidores, dijo Aniano. Si una IA fogosidad a una API, se “diseña y sanciona declarativamente”, y se indican acciones específicamente. Sin retención, la demanda de los clientes está inundando estos escenarios y “en este momento estamos manteniendo las puertas cerradas”, dijo. La industria debe desarrollar estándares concretos para las interacciones de los agentes. “Estamos entrando en un mundo en el que, con cosas como MCP que pueden descubrir herramientas automáticamente, vamos a tener que crear nuevos métodos de seguridad para animarse con qué herramientas pueden interactuar estos robots”, dijo Aniano. Cuando se prostitución de seguridad, las empresas se preocupan con razón cuando la IA se hace cargo de las tareas de autenticación, como expedir y procesar contraseñas de un solo uso (OTP), códigos SMS u otros métodos de demostración en dos pasos, dijo. ¿Qué sucede si una IA autentica o identifica erróneamente a cierto? Esto puede provocar una fuga de datos confidenciales o brindar la puerta a los atacantes. “Ahora hay un espectro, y el final de ese espectro hoy es un ser humano”, dijo Aniano. Sin retención, “el final de ese espectro mañana podría ser un agente especializado diseñado para crear el mismo tipo de intuición o interacción a nivel humano”. Los propios clientes se encuentran en un espectro de asimilación y comodidad. En determinadas empresas (particularmente las de servicios financieros u otros entornos mucho regulados) los seres humanos aún deben participar en la autenticación, señaló Aniano. En otros casos, las empresas heredadas o la vieja policía sólo confían en los humanos para autenticar a otros humanos. Señaló que Zendesk está experimentando con nuevos agentes de IA que están “un poco más conectados a los sistemas” y trabajando con un orden selecto de clientes en torno a las barreras protectoras.

Se acerca la autorización permanente

En algún futuro, es posible que se confíe más en los agentes que en los humanos para realizar algunas tareas y se les otorguen permisos “mucho más allá” de los que los humanos tienen hoy, dijo Xanthos. Pero estamos muy allá de eso y, en su viejo parte, el miedo a que poco salga mal es lo que frena a las empresas. “Lo cual es un buen miedo, ¿verdad? No digo que sea poco malo”, afirmó. Muchas empresas simplemente aún no se sienten cómodas con que un agente realice todos los pasos de un flujo de trabajo o suspensión completamente el ciclo por sí solo. Todavía quieren revisión humana. Resolve AI está a punto de otorgar a los agentes autorización permanente en algunos casos que son “generalmente seguros”, como en la codificación; A partir de ahí, pasarán a escenarios más abiertos que no son tan riesgosos, explicó Xanthos. Pero reconoció que siempre habrá situaciones muy riesgosas en las que los errores de la IA podrían “mutar el estado del sistema de producción”, como él dijo. Sin retención, en última instancia: “Obviamente no hay reverso a espaldas; esto se está moviendo más rápido que quizás incluso lo hizo el móvil. Entonces la pregunta es ¿qué hacemos al respecto?”.

Qué pueden hacer los equipos de seguridad ahora

Entreambos oradores señalaron las medidas provisionales disponibles interiormente de las herramientas existentes. Xanthos señaló que algunas herramientas, entre ellas Splunk, ya ofrecen controles de golpe detallados a nivel de índice que se pueden aplicar a los agentes. Aniano describió el enfoque de Zendesk como un punto de partida práctico: llamadas API diseñadas declarativamente con acciones sancionadas explícitamente, límites estrictos de golpe y trascendencia, y revisión humana antiguamente de expandir los permisos de los agentes.

El principio subyacente, como lo expresó Aniano: "Siempre estamos revisando esas puertas y viendo cómo podemos ampliar la comprensión." – es sostener, no otorgue autorización permanente hasta que haya validado cada expansión.