Este enfoque es mucho más exitoso que subordinarse de los modelos, ya que generalmente se usan, pero cuando su mejor caso es una tasa de éxito del 48.4 por ciento, no está ligero para el horario sideral. Las limitaciones son probables porque los modelos no entienden completamente cómo usar mejor las herramientas y porque sus datos de entrenamiento actuales no se adaptan a este caso de uso.

“Creemos que esto se debe a la escasez de datos que representan el comportamiento secuencial de la toma de decisiones (por ejemplo, trazas de depuración) en el Corpus de entrenamiento contemporáneo de LLM”, dice la publicación del blog. “Sin retención, la perfeccionamiento significativa del rendimiento … valida que esta es una dirección de investigación prometedora”.

Este referencia original es solo el manifestación de los esfuerzos, afirma la publicación. El sucesivo paso es “ajustar un maniquí de búsqueda de información especializado en la sumario de la información necesaria para resolver errores”. Si el maniquí es amplio, el mejor movimiento para racionar costos de inferencia puede ser “construir un maniquí de búsqueda de información más pequeño que pueda proporcionar información relevante a la más amplio”.

Esta no es la primera vez que hemos pasado resultados que sugieren que algunas de las ambiciosas ideas sobre los agentes de IA que reemplazan directamente a los desarrolladores están sobrado allí de la sinceridad. Ya han habido numerosos estudios que muestran que a pesar de que una aparejo de IA a veces puede crear una aplicación que parece aceptable para el beneficiario para una tarea estrecha, los modelos tienden a producir código cargados de errores y vulnerabilidades de seguridad, y generalmente no son capaces de solucionar esos problemas.

Este es un paso temprano en el camino en dirección a los agentes de codificación de IA, pero la mayoría de los investigadores están de acuerdo en que es probable que el mejor resultado sea un agente que le ahorre a un desarrollador humano una cantidad sustancial de tiempo, no uno que pueda hacer todo lo que pueda hacer.