# FlowRL: El RL que supera a PPO/GRPO. Razonamiento LLM, código y matemáticas

Episodio de [En la mente de la máquina](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina).

- Publicado: 24 de septiembre de 2025
- Duración: 19 min
- Página: https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650500-flowrl-el-rl-que-supera-a-ppo-grpo-razonamiento-llm-codigo-y-matematicas

## Sobre este episodio

¿Luchas contra el "mode collapse" en tus Grandes Modelos de Lenguaje (LLMs) de razonamiento? Los métodos tradicionales de Aprendizaje por Refuerzo (RL) basados en maximización de recompensas, como PPO y GRPO, tienden a sobreoptimizar señales dominantes, limitando la diversidad de las trayectorias de razonamiento. Presentamos FlowRL, una innovadora solución que reemplaza la maximización por el matching de la distribución de recompensa completa a través del balance de flujo. Al minimizar la divergencia KL inversa e inspirarse en GFlowNets, FlowRL promueve una exploración eficiente y trayectorias más generalizables. Los experimentos demuestran que FlowRL supera consistentemente a GRPO y PPO, logrando una mejora promedio del 10.0% en benchmarks de matemáticas desafiantes y un rendimiento superior en tareas de razonamiento de código, validando su capacidad para generar soluciones sustancialmente más diversas. ¡Aprende cómo FlowRL está redefiniendo el post-entrenamiento de los LLMs!https://arxiv.org/pdf/2509.15207

Anterior: [LLMs: MAXIMIZA eficiencia de datos (5.17X) con regularización y ensembling](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650499-llms-maximiza-eficiencia-de-datos-5-17x-con-regularizacion-y-ensembling)
Siguiente: [AI peligrosa: Pruebas de estrés revelan engaño y comportamiento encubierto en LLMs - OpenAI](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650497-ai-peligrosa-pruebas-de-estres-revelan-engano-y-comportamiento-encubierto-en)

## Últimos episodios de En la mente de la máquina

- [¡La Revolución de la IA! NCP-ArchPreview: Modelo Latente 2x Más Rápido](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/146978939-la-revolucion-de-la-ia-ncp-archpreview-modelo-latente-2x-mas-rapido) · 26 de octubre de 2026 · 29 min
- [¿Puede una IA Tener Conciencia Real? El Revelador Marco de Google DeepMind](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/146968013-puede-una-ia-tener-conciencia-real-el-revelador-marco-de-google-deepmind) · 25 de octubre de 2026 · 25 min
- [¿Las IA Sienten Dolor? Descubren el "Eje del Dolor" en LLMs y sus Perturbadores Efectos](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/145261392-las-ia-sienten-dolor-descubren-el-eje-del-dolor-en-llms-y-sus-perturbadores) · 24 de octubre de 2026 · 14 min
- [¡Revolución Biomédica! Miles de Agentes de IA de OpenAI Descubren Secretos del Cerebro](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/124480808-revolucion-biomedica-miles-de-agentes-de-ia-de-openai-descubren-secretos-del) · 23 de octubre de 2026 · 26 min
- [¡El FIN del RAG! Cognitive Workspace y la Memoria Activa para Inteligencia Artificial](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/85228177-el-fin-del-rag-cognitive-workspace-y-la-memoria-activa-para-inteligencia) · 21 de octubre de 2026 · 23 min