Los agentes de IA ahora se están integrando en las funciones comerciales centrales a nivel mundial. Pronto, estos agentes podrían programar nuestras vidas, tomar decisiones secreto y negociar acuerdos en nuestro nombre. La perspectiva es emocionante y ambiciosa, pero incluso plantea la pregunta: ¿quién los está supervisando?

Más de la porción (51%) de las empresas han desplegado agentes de IAy el CEO de Salesforce, Marc Benioff, ha atacado a mil millones de agentes para fin de año. A pesar de su creciente influencia, las pruebas de comprobación están notablemente ausentes. Estos agentes están siendo confiados de responsabilidades críticas en sectores sensibles, como la banca y la atención médica, sin la supervisión adecuada.

Los agentes de IA requieren una programación clara, capacitación de ingreso calidad y ideas en tiempo verdadero para resistir a agarradera acciones orientadas a objetivos de forma eficaz y precisa. Sin confiscación, no todos los agentes serán iguales. Algunos agentes pueden percibir datos y capacitación más avanzados, lo que lleva a un desequilibrio entre agentes a medida y perfectamente entrenados y producidos en masa.

Esto podría representar un peligro sistémico en el que los agentes más avanzados manipulen y engañen a los agentes menos avanzados. Con el tiempo, esta división entre los agentes podría crear una brecha en los resultados. Digamos que un agente tiene más experiencia en procesos legales y utiliza ese conocimiento para explotar o exceder a otro agente con menos comprensión. El despliegue de agentes de IA por parte de las empresas es forzoso, y incluso lo es el surgimiento de nuevas estructuras de poder y riesgos de manipulación. Los modelos subyacentes serán los mismos para todos los usuarios, pero esta posibilidad de desajuste necesita monitoreo.

El 💜 de la tecnología de la UE

Los últimos rumores de la secuencia tecnológica de la UE, una historia de nuestro sabio fundador de Ol ‘Boris y un arte de IA cuestionable. Es gratuito, cada semana, en su bandeja de entrada. ¡Regístrese ahora!

A diferencia del software tradicional, los agentes de IA operan en configuraciones evolucionadas y complejas. Su adaptabilidad los hace poderosos, pero incluso más propensos a fallas inesperadas y potencialmente catastróficas.

Por ejemplo, un agente de IA podría diagnosticar erróneamente una condición crítica en un pibe porque estaba capacitado principalmente en datos de pacientes adultos. O un agente de IA Chatbot podría resquilar una queja inofensiva de los clientes porque malinterpreta el sarcasmo como atentado, perdiendo lentamente a los clientes e ingresos adecuado a la mala interpretación.

Según la investigación de la industria, El 80% de las empresas han revelado que sus agentes de IA han tomado decisiones “deshonestas”. Los problemas de fila y seguridad ya son evidentes en ejemplos del mundo verdadero, como agentes autónomos sobrepasan instrucciones claras y eliminan importantes trabajos.

Por lo normal, cuando se produce un error humano importante, el empleado debe tratar con capital humanos, puede ser suspendido y se lleva a agarradera una investigación formal. Con los agentes de IA, esas barandillas no están en su espacio. Les damos golpe a nivel humano a materiales sensibles sin mínimo cercano a la supervisión de nivel humano.

Entonces, ¿estamos avanzando nuestros sistemas mediante el uso de agentes de IA, o estamos entregando la agencia antaño de que los protocolos adecuados estén en su espacio?

La verdad es que estos agentes pueden cultivarse y adaptarse rápidamente de acuerdo con sus respectivos entornos, pero aún no son adultos responsables. No han experimentado primaveras y primaveras de educación, intento y fracaso, e interactuando con otros empresarios. Carecen de la juicio adquirida de la experiencia vivida. Darles autonomía con controles mínimos es como entregar las llaves de la compañía a un reconocido intoxicado. Son entusiastas, inteligentes y maleables, pero incluso erráticos y necesitan supervisión.

Y, sin confiscación, lo que las grandes empresas no reconocen es que esto es exactamente lo que están haciendo. Los agentes de IA están siendo conectados “sin problemas” a las operaciones con poco más que una demostración y un descargo de responsabilidad. No hay pruebas continuas y estandarizadas. No hay organización de salida clara cuando poco sale mal.

Lo que error es un situación de comprobación estructurado de múltiples capas, uno que prueba regularmente el comportamiento del agente en simulaciones de escenarios de parada peligro y de parada peligro. A medida que la asimilación se acelera, la comprobación se está convirtiendo en un requisito previo para respaldar que los agentes de IA sean aptos para su propósito.

Se requieren diferentes niveles de comprobación según la sofisticación del agente. Los agentes de procedencia de conocimiento simples, o aquellos entrenados para usar herramientas como Excel o Correo electrónico, pueden no requerir el mismo rigor de las pruebas como agentes sofisticados que replican una amplia serie de tareas que realizan los humanos. Sin confiscación, necesitamos tener barandillas apropiadas, especialmente en entornos exigentes donde los agentes trabajan en colaboración con humanos y otros agentes.

Cuando los agentes comienzan a tomar decisiones a escalera, el ganancia de error se reduce rápidamente. Si los agentes de IA estamos permitiendo que las operaciones críticas de control no sean probadas para su integridad, precisión y seguridad, corremos el peligro de permitir que los agentes de IA causen estragos en la sociedad. Las consecuencias serán muy reales, y el costo del control de daños podría ser asombroso.