RL para LLMs: El poder de la simplicidad. ¡Solo 2 trucos te harán ganar!
Sobre este episodio
El campo de Reinforcement Learning para Large Language Models (RL4LLM) ha crecido rápidamente, pero esta expansión ha traído consigo una gran confusión debido a las pautas inconsistentes y la falta de un entendimiento unificado de las técnicas. Este video aborda estos desafíos al revisar sistemáticamente las técnicas de RL más adoptadas y, lo que es crucial, revela que una combinación minimalista de solo dos técnicas puede desbloquear la capacidad de aprendizaje de las políticas sin crítico, utilizando la pérdida PPO original. Descubre cómo la normalización de ventajas (con media a nivel de grupo y desviación estándar a nivel de batch) y la agregación de pérdidas a nivel de token superan consistentemente a estrategias más complejas como GRPO y DAPO, ofreciendo una hoja de ruta clara y fiable para los profesionales que navegan en el dominio de RL para LLMs.https://arxiv.org/pdf/2508.08221