La nueva técnica de compactación de distinción KV reduce la memoria LLM 50 veces sin pérdida de precisión

Las aplicaciones empresariales de IA que manejan documentos grandes o tareas a derrochador plazo se enfrentan a un dificultoso cuello de botella en la memoria. A medida que el contexto…