UserRL: Entrena LLMs agentes centrados en el usuario. RL, Multi-Turno y optimización de recompensas

Descubre UserRL, el marco unificado esencial para el entrenamiento de agentes LLM centrados en el usuario mediante Aprendizaje por Refuerzo (RL). Este enfoque utiliza interacciones dinámicas en entornos gym estandarizados, cruciales para desarrollar habilidades de adaptación y razonamiento extendido en tareas complejas que requieren múltiples pasos. Analizamos el diseño crítico de la asignación de recompensas y demostramos que la puntuación a nivel de trayectoria es consistentemente más decisiva para el rendimiento general que la diferenciación fina de recompensas por turno. Además, revelamos que un 'arranque en frío' de SFT (Supervised Fine-Tuning) es fundamental para desbloquear la capacidad de interacción inicial y sostener las mejoras de RL. Aprende cómo la simulación de usuarios (incluso con modelos de menor coste como Qwen3-32B) sigue siendo una opción práctica y transferible, fomentando agentes que logran una mayor eficiencia y efectividad en la asistencia real al usuario. Transforma tu estrategia de entrenamiento de agentes para crear modelos que funcionen como colaboradores adaptativos.https://arxiv.org/pdf/2509.19736