SDAR: El paradigma AR-Difusión que maximiza velocidad y razonamiento en LLMs escalables

SDAR, el innovador Paradigma de Difusión-AutoRegresión Sinérgica, revoluciona el diseño de Modelos de Lenguaje Grandes (LLMs) al desacoplar la eficiencia del entrenamiento autorregresivo (AR) de la paralelización de la inferencia. Este enfoque clave transforma modelos AR preentrenados en modelos de difusión por bloques (Block Diffusion) mediante una adaptación ligera y de bajo coste (con tan solo 50B de tokens), preservando la solidez y el rendimiento del modelo fundacional AR. Durante la inferencia, SDAR genera texto de forma autorregresiva entre bloques, pero decodifica todos los tokens dentro de cada bloque en paralelo, lo que resulta en una aceleración algorítmica significativa (medida en Tokens Per Forward Pass o TPF). Además de su escalabilidad y alta eficiencia, SDAR demuestra capacidades superiores de razonamiento científico y adaptabilidad al dominio, logrando ganancias sustanciales (+12.3%) en benchmarks como ChemBench al beneficiarse del contexto bidireccional local dentro de los bloques. SDAR se establece como una solución práctica y de alto rendimiento que unifica lo mejor de la Difusión y la AutoRegresión para la próxima generación de LLMs.https://arxiv.org/pdf/2510.0630https://github.com/JetAstra/SDARhttps://huggingface.co/collections/JetLM/sdar