Tree-GRPO: Optimiza agentes LLM y RL Multi-Turn. Menos budget, mayor rendimiento

Descubre Tree-GRPO (Tree-based Group Relative Policy Optimization), la vanguardia en el Aprendizaje por Refuerzo (RL) para Agentes LLM que enfrentan el desafío de la supervisión dispersa en tareas de múltiples turnos. Esta innovadora estrategia reemplaza la lógica de muestreo chain-based con un proceso de búsqueda en árbol (Tree Search) donde cada nodo representa un paso completo del agente (Pensamiento-Acción-Observación). Al compartir prefijos comunes entre trayectorias, Tree-GRPO reduce significativamente el presupuesto de rollout (tokens y llamadas a herramientas), permitiendo obtener hasta 1.5 veces más muestras bajo el mismo costo. Además de la eficiencia, esta estructura de árbol construye señales de supervisión de proceso más finas al estimar ventajas relativas grupales (intra- e inter-árbol), transformando las señales de recompensa de nivel de trayectoria en objetivos implícitos de aprendizaje de preferencias a nivel de paso. Las evaluaciones empíricas en 11 conjuntos de datos (incluyendo Multi-Hop QA) demuestran consistentemente la superioridad de Tree-GRPO, logrando mejoras relativas de hasta el 69% en modelos pequeños en comparación con los métodos chain-based.https://arxiv.org/pdf/2509.21240https://github.com/AMAP-ML/Tree-GRPO