dInfer: Inferencia 10X más rápida para dLLMs. 1100 TPS en GPU H800 y Open Source

Descubra dInfer, el innovador marco de inferencia eficiente y extensible diseñado específicamente para Modelos de Lenguaje por Difusión (dLLMs). dInfer resuelve los cuellos de botella del alto costo computacional de los dLLMs, ofreciendo una velocidad sin precedentes: logra superar los 1,100 TPS (tokens por segundo) en HumanEval a tamaño de lote 1, promediando más de 800 TPS en seis benchmarks en GPUs 8× H800. Esto representa una aceleración de más de 10x sobre sistemas anteriores como Fast-dLLM y una mejora de 2–3x sobre modelos AR altamente optimizados (como QWen2.5-3B en vLLM). Gracias a su arquitectura modular, que integra componentes clave como el gestor de iteraciones de difusión, estrategias avanzadas de decodificación (Jerárquica y Crédito) y la estrategia de actualización de caché KV de vecindad, dInfer maximiza el paralelismo y la utilización de la GPU mediante paralelismo de tensor y experto (TP/EP), incluso con batch size 1. dInfer es el primer framework abierto que demuestra que la inferencia dLLM puede superar a los modelos AR en eficiencia en tamaño de lote 1, y está disponible como código abierto.https://arxiv.org/pdf/2510.08666https://github.com/inclusionAI/dInfer