João Freitas es director militar y vicepresidente de ingeniería de IA y automatización en Servicio de buscapersonas

A medida que el uso de la IA continúa evolucionando en las grandes organizaciones, los líderes buscan cada vez más el próximo crecimiento que genere un anciano retorno de la inversión. La última ola de esta tendencia presente es la apadrinamiento de agentes de IA. Sin bloqueo, como ocurre con cualquier tecnología nueva, las organizaciones deben comprobar de adoptar agentes de IA de una forma responsable que les permita entregar tanto la velocidad como la seguridad.

Más de la medio de las organizaciones ya han implementado agentes de IA hasta cierto punto, y más esperan hacer lo mismo en los próximos dos primaveras. Pero muchos de los primeros en adoptarlo ahora están reevaluando su enfoque. Cuatro de cada 10 líderes tecnológicos lamentan no favor establecido una pulvínulo de gobernanza más sólida desde el principio, lo que sugiere que adoptaron la IA rápidamente, pero con beneficio para mejorar las políticas, reglas y mejores prácticas diseñadas para avalar el crecimiento y uso responsable, ético y constitucional de la IA.

A medida que se acelera la apadrinamiento de la IA, las organizaciones deben encontrar el nivelación adecuado entre su peligro de exposición y la implementación de medidas de seguridad para avalar que el uso de la IA sea seguro.

¿Dónde crean riesgos potenciales los agentes de IA?

Hay tres áreas principales a considerar para una apadrinamiento más segura de la IA.

La primera es la IA en la sombra, cuando los empleados utilizan herramientas de IA no autorizadas sin permiso deliberadamente, eludiendo las herramientas y procesos aprobados. La TI debería crear los procesos necesarios para la experimentación y la innovación para introducir formas más eficientes de trabajar con la IA. Si correctamente la IA en la sombra ha existido desde que existen las propias herramientas de IA, la autonomía de los agentes de IA facilita que las herramientas no autorizadas operen fuera del ámbito de TI, lo que puede introducir nuevos riesgos de seguridad.

En segundo motivo, las organizaciones deben cerrar las brechas en la propiedad y la responsabilidad de la IA para prepararse para incidentes o procesos que salgan mal. La fuerza de los agentes de IA reside en su autonomía. Sin bloqueo, si los agentes actúan de forma inesperada, los equipos deben poder determinar quién es responsable de chocar cualquier problema.

El tercer peligro surge cuando no se pueden explicar las acciones que han tomado los agentes de IA. Los agentes de IA están orientados a objetivos, pero puede no estar claro cómo logran sus objetivos. Los agentes de IA deben tener una dialéctica explicable subyacente a sus acciones para que los ingenieros puedan rastrear y, si es necesario, revertir acciones que puedan causar problemas con los sistemas existentes.

Si correctamente nadie de estos riesgos debería retrasar la apadrinamiento, ayudarán a las organizaciones a avalar mejor su seguridad.

Las tres pautas para la apadrinamiento responsable de agentes de IA

Una vez que las organizaciones hayan identificado los riesgos que pueden desarrollar los agentes de IA, deben implementar pautas y medidas de seguridad para avalar un uso seguro. Siguiendo estos tres pasos, las organizaciones pueden minimizar estos riesgos.

1: Hacer que la supervisión humana sea la opción predeterminada

La agencia de IA continúa evolucionando a un ritmo rápido. Sin bloqueo, todavía necesitamos supervisión humana cuando a los agentes de IA se les da la capacidad de efectuar, tomar decisiones y perseguir un objetivo que pueda afectar a los sistemas secreto. Un humano debe estar informado de forma predeterminada, especialmente para casos de uso y sistemas críticos para el negocio. Los equipos que utilizan IA deben comprender las acciones que puede tomar y dónde pueden carecer intervenir. Comience de forma conservadora y, con el tiempo, aumente el nivel de agencia otorgado a los agentes de IA.

En conjunto, los equipos de operaciones, ingenieros y profesionales de seguridad deben comprender el papel que desempeñan en la supervisión de los flujos de trabajo de los agentes de IA. A cada agente se le debe asignar un propietario humano específico para una supervisión y responsabilidad claramente definidas. Las organizaciones incluso deben permitir que cualquier humano señale o anule el comportamiento de un agente de IA cuando una batalla tiene un resultado película.

Al considerar las tareas para los agentes de IA, las organizaciones deben comprender que, si correctamente la automatización tradicional es buena para manejar procesos repetitivos basados ​​en reglas con entradas de datos estructurados, los agentes de IA pueden manejar tareas mucho más complejas y adaptarse a nueva información de una forma más autónoma. Esto los convierte en una decisión atractiva para todo tipo de tareas. Pero a medida que se implementan los agentes de IA, las organizaciones deben controlar qué acciones pueden tomar los agentes, particularmente en las primeras etapas de un plan. Por lo tanto, los equipos que trabajan con agentes de IA deben contar con rutas de aprobación para acciones de suspensión impacto para avalar que el efecto del agente no se extienda más allá de los casos de uso esperados, minimizando el peligro para el sistema en militar.

2: Hornear con seguridad

La preámbulo de nuevas herramientas no debería exponer un sistema a nuevos riesgos de seguridad.

Las organizaciones deben considerar plataformas agentes que cumplan con altos estándares de seguridad y estén validadas por certificaciones de nivel empresarial como SOC2, FedRAMP o equivalentes. Por otra parte, no se debe permitir que los agentes de IA tengan rienda suelta en los sistemas de una ordenamiento. Como imperceptible, los permisos y el efecto de seguridad de un agente de IA deben estar alineados con el efecto del propietario, y cualquier aparejo agregada al agente no debe permitir permisos ampliados. Lindar el golpe de los agentes de IA a un sistema en función de su función incluso garantizará que la implementación se realice sin problemas. Nutrir registros completos de cada batalla realizada por un agente de IA incluso puede ayudar a los ingenieros a comprender qué sucedió en caso de un incidente y rastrear el problema.

3: Hacer que los resultados sean explicables

El uso de la IA en una ordenamiento nunca debe ser una caja negra. Se debe ilustrar el razonamiento detrás de cualquier batalla para que cualquier ingeniero que intente aceptar a ella pueda comprender el contexto que utilizó el agente para la toma de decisiones y aceptar a los rastros que llevaron a esas acciones.

ILas entradas y horizontes de cada batalla deben registrarse y ser accesibles. Esto ayudará a las organizaciones a establecer una visión militar firme de la dialéctica subyacente a las acciones de un agente de IA, proporcionando un valencia significativo en caso de que poco salga mal.

La seguridad subraya el éxito de los agentes de IA

Los agentes de IA ofrecen una gran oportunidad para que las organizaciones aceleren y mejoren sus procesos existentes. Sin bloqueo, si no priorizan la seguridad y una gobernanza sólida, podrían exponerse a nuevos riesgos.

A medida que los agentes de IA se vuelven más comunes, las organizaciones deben comprobar de contar con sistemas para calcular su desempeño y la capacidad de tomar medidas cuando crean problemas.

Lea más de nuestro escritores invitados. ¡O considere expedir una publicación propia! Vea nuestro pautas aquí.