INTELLECT-3: LLM MoE SOTA (106B) entrenado con RL. Supera a modelos 6x más grandes en código
Sobre este episodio
Descubre INTELLECT-3, el innovador modelo Mixture-of-Experts (MoE) de 106B de parámetros (12B activos) entrenado con large-scale reinforcement learning (RL) en nuestra infraestructura end-to-end. Este modelo base GLM-4.5-Air establece un rendimiento de estado del arte (SOTA) para su tamaño en math, code, science y reasoning, superando a modelos frontier hasta 6 veces más grandes en benchmarks agenticos y de razonamiento. La clave es nuestra pila open-source, incluyendo prime-rl—un framework para RL asíncrono a gran escala, diseñado para agentic RL—y los Verifiers con el Environments Hub. INTELLECT-3 alcanzó puntuaciones de 90.8% en AIME 2024 y 69.3% en LiveCodeBench v6, demostrando capacidad superior en long chain-of-thought reasoning y uso de herramientas en contextos agentic. Hemos liberado el modelo y la infraestructura completa, incluyendo la receta de entrenamiento.https://storage.googleapis.com/intellect-3-paper/INTELLECT_3_Technical_Report.pdf