FlowRL: El RL que supera a PPO/GRPO. Razonamiento LLM, código y matemáticas

¿Luchas contra el "mode collapse" en tus Grandes Modelos de Lenguaje (LLMs) de razonamiento? Los métodos tradicionales de Aprendizaje por Refuerzo (RL) basados en maximización de recompensas, como PPO y GRPO, tienden a sobreoptimizar señales dominantes, limitando la diversidad de las trayectorias de razonamiento. Presentamos FlowRL, una innovadora solución que reemplaza la maximización por el matching de la distribución de recompensa completa a través del balance de flujo. Al minimizar la divergencia KL inversa e inspirarse en GFlowNets, FlowRL promueve una exploración eficiente y trayectorias más generalizables. Los experimentos demuestran que FlowRL supera consistentemente a GRPO y PPO, logrando una mejora promedio del 10.0% en benchmarks de matemáticas desafiantes y un rendimiento superior en tareas de razonamiento de código, validando su capacidad para generar soluciones sustancialmente más diversas. ¡Aprende cómo FlowRL está redefiniendo el post-entrenamiento de los LLMs!https://arxiv.org/pdf/2509.15207