Nota del editor: Emilia dirigirá una mesa redonda editorial sobre este tema en VB Transform este mes. Regístrese hoy.

Los marcos de orquestación para servicios de IA sirven múltiples funciones para empresas. No solo establecen cómo las aplicaciones o agentes fluyen juntos, sino que incluso deben permitir que los administradores administren flujos de trabajo y agentes y auditen sus sistemas.

A medida que las empresas comienzan a esquilar sus servicios de IA y los ponen en producción, construyendo una tubería manejable, rastreable, auditable y robusta asegura que sus agentes funcionen exactamente como se supone que deben hacerlo. Sin estos controles, las organizaciones pueden no ser conscientes de lo que está sucediendo en sus sistemas de IA y solo puede descubrir el problema demasiado tarde, cuando poco sale mal o no cumplen con las regulaciones.

Kevin Kiley, presidente de Enterprise Orchestration Company Transmitidole dijo a VentureBeat en una entrevista que los marcos deben incluir auditabilidad y trazabilidad.

“Es fundamental tener esa observabilidad y poder retornar al registro de auditoría y mostrar qué información se proporcionó en qué punto nuevamente”, dijo Kiley. “Debes retener si fue un mal actor, o un empleado interno que no sabía que estaban compartiendo información o si era una visión. Necesitas un registro de eso”.

Idealmente, los senderos de robustez y auditoría deben integrarse en sistemas de IA en una etapa muy temprana. Comprender los riesgos potenciales de una nueva aplicación o agente de IA y asegurar que continúen funcionando con los estándares ayer de la implementación ayudaría a aliviar las preocupaciones sobre poner a la IA en la producción.

Sin requisa, las organizaciones no diseñaron inicialmente sus sistemas con la trazabilidad y la auditabilidad en mente. Muchos programas piloto de IA comenzaron su vida a medida que comenzaron los experimentos sin una capa de orquestación o una pista de auditoría.

La gran pregunta que las empresas ahora enfrentan es cómo establecer todos los agentes y aplicaciones, asegurar que sus tuberías sigan siendo robustas y, si poco sale mal, saben qué salió mal y monitorean el rendimiento de la IA.

Nominar el método correcto

Sin requisa, ayer de construir cualquier solicitud de IA, los expertos dijeron que las organizaciones deben hacer un comprobación de sus datos. Si una empresa sabe qué datos están de acuerdo con los sistemas de IA para entrar y con qué datos ajustaron un maniquí, tienen esa linde de colchoneta para comparar el rendimiento a abundante plazo.

“Cuando ejecuta algunos de esos sistemas de IA, se negociación más, ¿qué tipo de datos puedo validar que mi sistema efectivamente se ejecuta correctamente o no?” Yrieix Garnier, vicepresidente de productos en Datadogdijo a VentureBeat en una entrevista. “Eso es muy difícil de hacer, para entender que tengo el sistema de remisión adecuado para validar las soluciones de IA”.

Una vez que la ordenamiento identifica y localiza sus datos, necesita establecer la versiones del conjunto de datos, esencialmente asignando una marca de tiempo o número de traducción, para que los experimentos sean reproducibles y comprendan lo que el maniquí ha cambiado. Estos conjuntos de datos y modelos, cualquier aplicación que use estos modelos o agentes específicos, usuarios autorizados y los números de tiempo de ejecución de linde de colchoneta se pueden cargar en la plataforma de orquestación u observabilidad.

Al igual que al designar modelos de colchoneta para construir, los equipos de orquestación deben considerar la transparencia y la comprensión. Si acertadamente algunos sistemas de orquestación de código cerrado tienen numerosas ventajas, más plataformas de código rajado incluso podrían ofrecer beneficios que algunas empresas valoran, como una viejo visibilidad en los sistemas de toma de decisiones.

Plataformas de código rajado como Mlflow, Langchain y Raer Proporcionar agentes y modelos con instrucciones y monitoreo granulares y flexibles. Las empresas pueden optar por desarrollar su tubería de IA a través de una plataforma única de extremo a extremo, como Datadog, o utilizar varias herramientas interconectadas desde AWS.

Otra consideración para las empresas es conectar un sistema que mapea a los agentes y las respuestas de la aplicación a herramientas de cumplimiento o políticas de IA responsables. AWS y Microsoft Uno y otro ofrecen servicios que rastrean las herramientas de IA y qué tan cerca se adhieren a las barandillas y otras políticas establecidas por el sucesor.

Kiley dijo que una consideración para las empresas al construir estas tuberías confiables expedición en torno a designar un sistema más transparente. Para Kiley, no tener ninguna visibilidad sobre cómo funcionan los sistemas de IA no funcionará.

“Independientemente de cuál sea el caso de uso o incluso la industria, tendrá esas situaciones en las que tiene que tener flexibilidad, y un sistema cerrado no va a funcionar. Hay proveedores por ahí que tienen grandes herramientas, pero es una especie de caja negra. No sé cómo está llegando a estas decisiones. No tengo la capacidad de interceptar o intervenir en puntos donde podría querer”, dijo.

Únete a la conversación en VB Transform

Estaré liderando una mesa redonda editorial en VB Transform 2025 En San Francisco, del 24 al 25 de junio, llamó “las mejores prácticas para construir marcos de orquestación para la IA Agentic”, y me encantaría que te unas a la conversación. Regístrese hoy.