CE-GPPO: Controla la entropía en RL para LLMs y logra rendimiento SOTA en razonamiento matemático

Descubre CE-GPPO (Coordinating Entropy via Gradient-Preserving Policy Optimization), el algoritmo innovador de Reinforcement Learning (RL) diseñado para la optimización de Large Language Models (LLMs) en tareas complejas de razonamiento. CE-GPPO resuelve el desafío crítico de regular la entropía de la política, la cual equilibra la exploración y la explotación durante el entrenamiento, mitigando tanto el colapso como la explosión de entropía que afectan a variantes estándar de PPO. La clave reside en reintroducir las señales de gradiente esenciales de tokens de baja probabilidad que son eliminados por el mecanismo de recorte (clipping) tradicional. Al controlar la magnitud de estos gradientes (especialmente los de PA&LP y NA&LP) de manera acotada y estable, CE-GPPO mantiene una entropía alta y estable, lo que se traduce en un rendimiento superior. Experimentos exhaustivos demuestran que CE-GPPO supera consistentemente a potentes líneas base como GRPO, DAPO, CISPO y GSPO en benchmarks de razonamiento matemático (AIME24, HMMT25) y logra hasta 3.0 puntos de mejora promedio en modelos de 7B.https://github.com/Kwai-Klear/CE-GPPOhttps://www.arxiv.org/pdf/2509.20712