REFRAG: ¡La revolución que multiplica por 30 la velocidad de tus LLMs con contexto ilimitado!

Descubre REFRAG, el innovador marco de decodificación diseñado para transformar el rendimiento de los Large Language Models (LLMs) en aplicaciones de Generación Aumentada por Recuperación (RAG). Mientras que los LLMs tradicionales enfrentan desafíos significativos con entradas de contexto largas, como alta latencia y considerable consumo de memoria, REFRAG aborda estos problemas de manera eficiente. Aprovechando la estructura dispersa única de los contextos RAG, REFRAG comprime, detecta y expande selectivamente las representaciones del contexto, lo que resulta en una asombrosa aceleración de hasta 30.85 veces en el tiempo hasta el primer token (TTFT), superando los métodos anteriores sin pérdida de precisión o perplejidad. Esta optimización no solo reduce el uso de memoria y aumenta el rendimiento, sino que también extiende el tamaño del contexto de los LLMs hasta 16 veces, permitiendo un procesamiento más profundo. Implementando incrustaciones de fragmentos precalculadas y una política de compresión selectiva basada en aprendizaje por refuerzo, REFRAG mejora la eficiencia sin requerir modificaciones en la arquitectura del LLM. Prepárate para experimentar LLMs más rápidos, eficientes y capaces en diversas aplicaciones como RAG, conversaciones multi-turno y resumen de documentos largos.https://arxiv.org/pdf/2509.01092