DeepSeek-V3.2-Exp: Atención dispersa (DSA) y eficiencia récord en largo contexto (128K)

Sumérgete en los detalles de DeepSeek-V3.2-Exp, la versión experimental que redefine la eficiencia en modelos de lenguaje de largo contexto. Este modelo se basa en DeepSeek-V3.1-Terminus e introduce la innovadora DeepSeek Sparse Attention (DSA), un mecanismo de atención dispersa de grano fino diseñado para optimizar el entrenamiento y la inferencia. La implementación de DSA, asistida por un indexador relámpago (lightning indexer), reduce la complejidad de la atención central de O($L^2$) a O($Lk$), logrando una significativa mejora en la velocidad y el costo en escenarios de secuencia extendida (hasta 128K tokens). A pesar de esta optimización arquitectónica, DeepSeek-V3.2-Exp mantiene un rendimiento prácticamente idéntico al de su predecesor DeepSeek-V3.1-Terminus en diversos benchmarks. Descubre cómo implementar esta arquitectura eficiente cuyos checkpoints están disponibles en Hugging Face.https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exphttps://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf