Adiós Transformers: SubQ, el primer LLM Subcuadrático de 12M de tokens

Descubre cómo SubQ está revolucionando la Inteligencia Artificial al presentarse como el primer modelo de lenguaje grande (LLM) con una arquitectura de atención subcuadrática escasa (SSA) que escala de forma lineal. A diferencia de los modelos tradicionales basados en Transformers, cuyo coste computacional crece cuadráticamente limitando su uso, SubQ es capaz de procesar hasta 12 millones de tokens en una sola ventana de contexto de manera eficiente. En este contenido desglosamos cómo esta innovación reduce el cómputo en la atención casi 1.000 veces y logra ser 52 veces más rápido que la atención densa tradicional al procesar 1 millón de tokens. Además, analizaremos cómo supera a líderes de la industria como Claude Opus y GPT en pruebas exigentes de razonamiento multicapa y programación, como MRCR v2 y SWE-Bench Verified. ¡Acompáñanos a explorar por qué esta nueva tecnología dejará obsoletos los complejos sistemas de RAG y cambiará el futuro del desarrollo de IA!https://subq.ai/introducing-subqhttps://subq.ai/how-ssa-makes-long-context-practical