# Tree-GRPO: Optimiza agentes LLM y RL Multi-Turn. Menos budget, mayor rendimiento

Episodio de [En la mente de la máquina](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina).

- Publicado: 23 de octubre de 2025
- Duración: 15 min
- Página: https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650442-tree-grpo-optimiza-agentes-llm-y-rl-multi-turn-menos-budget-mayor-rendimiento

## Sobre este episodio

Descubre Tree-GRPO (Tree-based Group Relative Policy Optimization), la vanguardia en el Aprendizaje por Refuerzo (RL) para Agentes LLM que enfrentan el desafío de la supervisión dispersa en tareas de múltiples turnos. Esta innovadora estrategia reemplaza la lógica de muestreo chain-based con un proceso de búsqueda en árbol (Tree Search) donde cada nodo representa un paso completo del agente (Pensamiento-Acción-Observación). Al compartir prefijos comunes entre trayectorias, Tree-GRPO reduce significativamente el presupuesto de rollout (tokens y llamadas a herramientas), permitiendo obtener hasta 1.5 veces más muestras bajo el mismo costo. Además de la eficiencia, esta estructura de árbol construye señales de supervisión de proceso más finas al estimar ventajas relativas grupales (intra- e inter-árbol), transformando las señales de recompensa de nivel de trayectoria en objetivos implícitos de aprendizaje de preferencias a nivel de paso. Las evaluaciones empíricas en 11 conjuntos de datos (incluyendo Multi-Hop QA) demuestran consistentemente la superioridad de Tree-GRPO, logrando mejoras relativas de hasta el 69% en modelos pequeños en comparación con los métodos chain-based.https://arxiv.org/pdf/2509.21240https://github.com/AMAP-ML/Tree-GRPO

Anterior: [DeepMMSearch-R1: El MLLM que supera a GPT en búsqueda web multimodal y VQA](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650441-deepmmsearch-r1-el-mllm-que-supera-a-gpt-en-busqueda-web-multimodal-y-vqa)
Siguiente: [DARLING: El RL que soluciona el colapso de diversidad en LLMs . Más calidad y más creatividad](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/8650439-darling-el-rl-que-soluciona-el-colapso-de-diversidad-en-llms-mas-calidad-y-mas)

## Últimos episodios de En la mente de la máquina

- [¡La Revolución de la IA! NCP-ArchPreview: Modelo Latente 2x Más Rápido](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/146978939-la-revolucion-de-la-ia-ncp-archpreview-modelo-latente-2x-mas-rapido) · 26 de octubre de 2026 · 29 min
- [¿Puede una IA Tener Conciencia Real? El Revelador Marco de Google DeepMind](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/146968013-puede-una-ia-tener-conciencia-real-el-revelador-marco-de-google-deepmind) · 25 de octubre de 2026 · 25 min
- [¿Las IA Sienten Dolor? Descubren el "Eje del Dolor" en LLMs y sus Perturbadores Efectos](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/145261392-las-ia-sienten-dolor-descubren-el-eje-del-dolor-en-llms-y-sus-perturbadores) · 24 de octubre de 2026 · 14 min
- [¡Revolución Biomédica! Miles de Agentes de IA de OpenAI Descubren Secretos del Cerebro](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/124480808-revolucion-biomedica-miles-de-agentes-de-ia-de-openai-descubren-secretos-del) · 23 de octubre de 2026 · 26 min
- [¡El FIN del RAG! Cognitive Workspace y la Memoria Activa para Inteligencia Artificial](https://escuchario.semeescucha.es/podcast/en-la-mente-de-la-maquina/episodio/85228177-el-fin-del-rag-cognitive-workspace-y-la-memoria-activa-para-inteligencia) · 21 de octubre de 2026 · 23 min