Cuando su uso diario promedio de tokens es de 8 mil millones por día, tiene un problema de escalera masiva. Este fue el caso de AT&T, y el director de datos Andy Markus y su equipo reconocieron que simplemente no era factible (ni crematístico) impulsar todo a través de grandes modelos de razonamiento. Entonces, al crear un asistente personal interno de Ask AT&T, reconstruyeron la capa de orquestación. El resultado: una pila de agentes múltiples construida sobre LangChain donde los “superagentes” de modelos de habla grandes dirigen a agentes “trabajadores” subyacentes más pequeños que realizan un trabajo más conciso y orientado a un propósito. Esta capa de orquestación flexible ha mejorado drásticamente la latencia, la velocidad y los tiempos de respuesta, dijo Markus a VentureBeat. En particular, su equipo ha obtenido hasta un 90 % de economía de costes. “Creo que el futuro de la IA agente son muchos, muchos, muchos modelos de lenguajes pequeños (SLM)”, dijo. “Encontramos que los modelos de habla pequeños son tan precisos, si no tan precisos, como un maniquí de habla holgado en un ámbito de dominio determinada”.

Más recientemente, Markus y su equipo utilizaron esta pila rediseñada yuxtapuesto con Microsoft Azure para crear e implementar Ask AT&T Workflows, un creador de agentes croquis de deslizar y soltar para que los empleados automaticen tareas.

Los agentes utilizan un conjunto de herramientas patentadas de AT&T que manejan el procesamiento de documentos, la conversión de habla natural a SQL y el observación de imágenes. “A medida que se ejecuta el flujo de trabajo, son los datos de AT&T los que en realidad impulsan las decisiones”, afirmó Markus. En división de hacer preguntas generales, “hacemos preguntas sobre nuestros datos y los utilizamos para asegurarnos de que se centren en nuestra información a la hora de tomar decisiones”. Aún así, un humano siempre supervisa la “reacción en cautiverio” de los agentes. Todas las acciones de los agentes se registran, los datos se aíslan durante todo el proceso y el llegada basado en roles se aplica cuando los agentes se pasan cargas de trabajo entre sí. “Las cosas suceden de forma autónoma, pero el ser humano en el circuito aún proporciona control y inmovilidad de todo el proceso”, dijo Markus.

No construir demasiado, utilizando modelos ‘intercambiables y seleccionables’

AT&T no acepta "construir todo desde cero" mentalidad, señaló Markus; se cimiento más en modelos que son “intercambiables y seleccionables” y que “nunca reconstruyen un producto sustancial”. A medida que la funcionalidad madure en toda la industria, dejarán de ser enseres las herramientas locales en división de las opciones disponibles en el mercado, explicó. “Porque en este espacio las cosas cambian cada semana, si tenemos suerte, a veces varias veces por semana”, dijo. “Necesitamos poder pilotear, acoplar y desconectar diferentes componentes”. Hacen evaluaciones “en realidad rigurosas” de las opciones disponibles y de las suyas propias; por ejemplo, su Ask Data with Relational Knowledge Graph encabezó la tabla de clasificación de precisión de texto a SQL de Spider 2.0, y otras herramientas obtuvieron una puntuación reincorporación en el punto de relato BERT SQL. En el caso de las herramientas agentes de cosecha propia, su equipo utiliza LangChain como ámbito central, afina los modelos con vivientes aumentada de recuperación (RAG) tipificado y otros algoritmos internos, y se asocia estrechamente con Microsoft, utilizando la funcionalidad de búsqueda del cíclope tecnológico para su tienda de vectores. Sin incautación, en última instancia, es importante no fusionar IA agente u otras herramientas avanzadas en todo por el simple hecho de hacerlo, aconsejó Markus. “A veces complicamos demasiado las cosas”, dijo. “A veces he pasado una opción demasiado diseñada”. En cambio, los constructores deberían preguntarse si una aparejo determinada en realidad necesita ser agente. Esto podría incluir preguntas como: ¿Qué nivel de precisión se podría ganar si se tratara de una opción generativa de un solo construcción más simple? ¿Cómo podrían dividirlo en pedazos más pequeños para que cada aposento pudiera entregarse “con mucha longevo precisión”?, como dijo Markus. La precisión, el costo y la capacidad de respuesta de las herramientas deben ser principios básicos. “Incluso cuando las soluciones se han vuelto más complicadas, esos tres principios harto básicos todavía nos dan mucha dirección”, dijo.

Cómo lo utilizan en realidad 100.000 empleados

Ask AT&T Workflows se ha implementado para más de 100.000 empleados. Más de la porción dice que lo usa todos los días, y los usuarios activos reportan ganancias de productividad de hasta el 90%, dijo Markus. “Estamos analizando si están utilizando el sistema repetidamente? Porque la rigidez es un buen indicador de éxito”, dijo. El creador de agentes ofrece “dos viajes” para los empleados. Uno es el código profesional, donde los usuarios pueden programar Python entre bastidores, dictando reglas sobre cómo deben trabajar los agentes. El otro no tiene código y presenta una interfaz visual de deslizar y soltar para una “experiencia de beneficiario harto ligera”, dijo Markus. Curiosamente, incluso los usuarios expertos se inclinan por la última opción. En un flamante hackathon dirigido a una audiencia técnica, a los participantes se les dio a designar entre los dos, y más de la porción eligieron código bajo. “Esto fue una sorpresa para nosotros, porque todas estas personas eran muy competentes en el aspecto de la programación”, dijo Markus. Los empleados utilizan agentes en una variedad de funciones; por ejemplo, un ingeniero de redes puede crear una serie de ellos para topar alertas y retornar a conectar a los clientes cuando pierden la conectividad. En este ambiente, un agente puede correlacionar la telemetría para identificar el problema de la red y su ubicación, extraer registros de cambios y efectuar problemas conocidos. Entonces, puede desobstruir un ticket de problema. Luego, otro agente podría idear formas de resolver el problema e incluso escribir un nuevo código para parchearlo. Una vez resuelto el problema, un tercer agente puede redactar un esquema con medidas preventivas para el futuro. “El ingeniero (humano) vigilaría todo, asegurándose de que los agentes se desempeñen como se aplazamiento y tomen las acciones correctas”, dijo Markus.

La codificación impulsada por IA es el futuro

Esa misma disciplina de ingeniería (dividir el trabajo en partes más pequeñas diseñadas específicamente) ahora está remodelando la forma en que AT&T escribe el código, a través de lo que Markus candela "Codificación impulsada por IA."

Comparó el proceso con RAG; Los desarrolladores utilizan métodos de codificación ágiles en un entorno de expansión integrado (IDE) yuxtapuesto con arquetipos de compilación “específicos de la función” que dictan cómo debe interactuar el código. El resultado no es un código suelto; el código está “muy cerca del nivel de producción” y podría alcanzar esa calidad en un solo turno. “Todos hemos trabajado con vibe coding, donde tenemos un editor de código de tipo agente”, señaló Markus. Pero la codificación impulsada por IA “elimina muchas de las iteraciones de ida y envés que se pueden ver en la codificación vibe”. Considera que esta técnica de codificación “redefine tangiblemente” el ciclo de expansión de software, lo que en última instancia acorta los plazos de expansión y aumenta la producción de código de nivel de producción. Los equipos no técnicos todavía pueden participar en la hecho, utilizando indicaciones en habla sencillo para crear prototipos de software. Su equipo, por ejemplo, ha utilizado la técnica para crear un producto de datos interno curado en 20 minutos; sin IA, construirlo habría llevado seis semanas. “Desarrollamos software con él, modificamos software con él, hacemos ciencia de datos con él, hacemos observación de datos con él, hacemos ingeniería de datos con él”, dijo Markus. “Así que es un punto de inflexión”.