¡Velocidad extrema SIEMPRE gana! Cómo las arquitecturas eficientes reinventan los LLMs
Sobre este episodio
Los Grandes Modelos de Lenguaje (LLMs) han alcanzado resultados impresionantes, pero su fundación en la arquitectura Transformer tradicional impone demandas computacionales y de memoria sustanciales, especialmente con secuencias de entrada largas, debido a la complejidad cuadrática de su mecanismo de autoatención. Este video profundiza en las innovadoras arquitecturas de LLMs que abordan estas limitaciones, examinando métodos clave como el modelado de secuencias lineal y disperso, la atención completa eficiente, los Mixture-of-Experts (MoE) escasos, las arquitecturas híbridas y los Diffusion LLMs emergentes. Descubre cómo estas técnicas están impulsando la eficiencia y la escalabilidad, permitiendo a los LLMs procesar contextos más extensos y extender sus capacidades a otras modalidades como la visión y el audio, redefiniendo el futuro de la IA.https://arxiv.org/pdf/2508.09834