Los agentes de IA ciertamente están teniendo un momento. Entre la flamante viralidad de casco abierta, Moltbook y OpenAI planeando tomar sus características de agente al sucesivo nivel, puede que sea simplemente el año del agente.

¿Por qué? Bueno, pueden planificar, escribir codigonavegar por la web y ejecutar tareas de varios pasos con poca o ninguna supervisión. Algunos incluso prometen ejecutar su flujo de trabajo. Otros se coordinan con herramientas y sistemas en su escritorio.

El atractivo es obvio. Estos sistemas no se limitan a replicar. Ellos acto — para usted y en su nombre. Pero cuando los investigadores detrás del Índice de agentes de IA del MIT Catalogaron 67 sistemas agentes desplegados, encontraron poco inquietante.

Los desarrolladores están ansiosos por describir lo que sus agentes pueden hacer. hacer. Están mucho menos interesados ​​en describir si estos agentes son seguro.

“Los principales desarrolladores y empresas emergentes de IA están implementando cada vez más sistemas de IA agentes que pueden planificar y ejecutar tareas complejas con una billete humana limitada”. los investigadores escribieron en el artículo. “Sin secuestro, actualmente no existe un situación estructurado para documentar… las características de seguridad de los sistemas agentes”.

Esa brecha se muestra claramente en las cifras: rodeando del 70% de los agentes indexados proporcionan documentación y casi la medio publica código. Pero sólo rodeando del 19% divulga una política de seguridad formal y menos del 10% informa evaluaciones de seguridad externas.

La investigación subraya que, si proporcionadamente los desarrolladores se apresuran a promocionar las capacidades y la aplicación habilidad de los sistemas agentes, incluso se apresuran a proporcionar información limitada sobre la seguridad y el aventura. El resultado es una especie de transparencia desequilibrada.

¿Qué se considera un agente de IA?

Los investigadores fueron deliberados sobre qué hizo el corte, y no todos los chatbots califican. Para ser incluido, un sistema tenía que efectuar con objetivos poco especificados y perseguir metas a lo prolongado del tiempo. Asimismo tuvo que tomar acciones que afectan un entorno con mediación humana limitada. Se alcahuetería de sistemas que deciden por sí mismos los pasos intermedios. Pueden dividir una instrucción amplia en subtareas, utilizar herramientas, planificar, completar e iterar.

Esa autonomía es lo que los hace poderosos. Asimismo es lo que aumenta las apuestas.

Cuando un maniquí simplemente genera texto, sus fallas generalmente están contenidas en esa salida. Cuando un agente de IA puede ingresar a archivos, remitir correos electrónicos, realizar compras o modificar documentos, los errores y las vulnerabilidades pueden ser perjudiciales y propagarse a través de los pasos. Sin secuestro, los investigadores descubrieron que la mayoría de los desarrolladores no detallan públicamente cómo prueban esos escenarios.

La capacidad es pública, las barandillas no lo son

El patrón más provocativo en el estudio no está escondido en lo profundo de una mesa, sino que se repite a lo prolongado del artículo.

Los desarrolladores se sienten cómodos compartiendo demostraciones, puntos de remisión y la usabilidad de estos agentes de IA, pero son mucho menos consistentes a la hora de compartir evaluaciones de seguridad, procedimientos de prueba internos o auditorías de riesgos de terceros.

Ese desequilibrio importa más a medida que los agentes pasan de prototipos a actores digitales integrados en flujos de trabajo reales. Muchos de los sistemas indexados operan en dominios como la ingeniería de software y el uso de computadoras, entornos que a menudo involucran datos confidenciales y un control significativo.

El Índice de Agentes de IA del MIT no afirma que la IA agente sea insegura en su totalidad, pero muestra que a medida que aumenta la autonomía, la transparencia estructurada sobre la seguridad no ha seguido el ritmo.

La tecnología se está acelerando. Las barreras de seguridad, al menos públicamente, siguen siendo más difíciles de ver.