Este término de contexto lógicamente limita el tamaño de una colchoneta de código que un LLM puede procesar al mismo tiempo, y si alimenta el maniquí de IA con muchos archivos de código enormes (que el LLM debe reevaluar cada vez que envía otra respuesta), puede consumir tokens o límites de uso con sobrado prontitud.

Trucos del oficio

Para sortear estos límites, los creadores de agentes de codificación utilizan varios trucos. Por ejemplo, los modelos de IA están ajustados para escribir código para subcontratar actividades a otras herramientas de software. Por ejemplo, podrían escribir scripts de Python para extraer datos de imágenes o archivos en motivo de despachar el archivo completo a través de un LLM, lo que ahorra tokens y evita resultados inexactos.

Documentación de Anthropic notas que Claude Code además utiliza este enfoque para realizar exploración de datos complejos en grandes bases de datos, escribiendo consultas específicas y usando comandos Bash como “head” y “tail” para analizar grandes volúmenes de datos sin tener que cargar los objetos de datos completos en contexto.

(En cierto modo, estos agentes de IA son programas guiados pero semiautónomos que utilizan herramientas que son una extensión importante de un concepto que vimos por primera vez a principios de 2023).

Otro avance importante en el ámbito de los agentes provino de la mandato dinámica del contexto. Los agentes pueden hacer esto de varias maneras que no se revelan completamente en los modelos de codificación propietarios, pero sí conocemos la técnica más importante que utilizan: la compresión de contexto.

Cuando un LLM de codificación se acerca a su término de contexto, esta técnica comprime el historial del contexto resumiéndolo, perdiendo detalles en el proceso pero acortando el historial a detalles secreto. Documentación de Anthropic describe esta “compactación” consiste en destilar contenidos del contexto de una forma de inscripción fidelidad, preservando detalles secreto como decisiones arquitectónicas y errores no resueltos mientras se descartan resultados de herramientas redundantes.

Esto significa que los agentes de codificación de IA “olvidan” periódicamente una gran parte de lo que están haciendo cada vez que ocurre esta compresión, pero a diferencia de los sistemas más antiguos basados ​​en LLM, no están completamente desorientados sobre lo que ha sucedido y pueden reorientarse rápidamente leyendo el código existente, notas escritas dejadas en archivos, registros de cambios, etc.