# CE-GPPO: Controla la entropía en RL para LLMs y logra rendimiento SOTA en razonamiento matemático

Episodio de [En la mente de la máquina](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina).

- Publicado: 3 de noviembre de 2025
- Duración: 15 min
- Página: https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650419-ce-gppo-controla-la-entropia-en-rl-para-llms-y-logra-rendimiento-sota-en

## Sobre este episodio

Descubre CE-GPPO (Coordinating Entropy via Gradient-Preserving Policy Optimization), el algoritmo innovador de Reinforcement Learning (RL) diseñado para la optimización de Large Language Models (LLMs) en tareas complejas de razonamiento. CE-GPPO resuelve el desafío crítico de regular la entropía de la política, la cual equilibra la exploración y la explotación durante el entrenamiento, mitigando tanto el colapso como la explosión de entropía que afectan a variantes estándar de PPO. La clave reside en reintroducir las señales de gradiente esenciales de tokens de baja probabilidad que son eliminados por el mecanismo de recorte (clipping) tradicional. Al controlar la magnitud de estos gradientes (especialmente los de PA&LP y NA&LP) de manera acotada y estable, CE-GPPO mantiene una entropía alta y estable, lo que se traduce en un rendimiento superior. Experimentos exhaustivos demuestran que CE-GPPO supera consistentemente a potentes líneas base como GRPO, DAPO, CISPO y GSPO en benchmarks de razonamiento matemático (AIME24, HMMT25) y logra hasta 3.0 puntos de mejora promedio en modelos de 7B.https://github.com/Kwai-Klear/CE-GPPOhttps://www.arxiv.org/pdf/2509.20712

Anterior: [El secreto desvelado: Cómo HICRA desbloquea la inteligencia estratégica en LLMs](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650422-el-secreto-desvelado-como-hicra-desbloquea-la-inteligencia-estrategica-en-llms)
Siguiente: [Loong Project: Desbloqueando el razonamiento de LLMs a gran escala con datos sintéticos verificables](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650420-loong-project-desbloqueando-el-razonamiento-de-llms-a-gran-escala-con-datos)

## Últimos episodios de En la mente de la máquina

- [¡Google Presenta Gemini 4 Carbon! La IA Revolucionaria en Ciberseguridad y Código](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/147013300-google-presenta-gemini-4-carbon-la-ia-revolucionaria-en-ciberseguridad-y-codigo) · 29 de octubre de 2026 · 18 min
- [¿La IA Reemplazará a los Ingenieros? El Benchmark PLE de Google Revela la Verdad](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/147002129-la-ia-reemplazara-a-los-ingenieros-el-benchmark-ple-de-google-revela-la-verdad) · 28 de octubre de 2026 · 18 min
- [¡La Revolución de la IA! NCP-ArchPreview: Modelo Latente 2x Más Rápido](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/146978939-la-revolucion-de-la-ia-ncp-archpreview-modelo-latente-2x-mas-rapido) · 26 de octubre de 2026 · 29 min
- [¿Puede una IA Tener Conciencia Real? El Revelador Marco de Google DeepMind](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/146968013-puede-una-ia-tener-conciencia-real-el-revelador-marco-de-google-deepmind) · 25 de octubre de 2026 · 25 min
- [¿Las IA Sienten Dolor? Descubren el "Eje del Dolor" en LLMs y sus Perturbadores Efectos](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/145261392-las-ia-sienten-dolor-descubren-el-eje-del-dolor-en-llms-y-sus-perturbadores) · 24 de octubre de 2026 · 14 min