HRM en acción: Datarus-R1 y su arquitectura de doble recompensa para un razonamiento eficiente

Datarus-R1-14B introduce un marco de entrenamiento de doble recompensa que es clave para su rendimiento superior. Por un lado, una recompensa estructural asegura el formato correcto; por otro, un sofisticado Modelo de Recompensa Jerárquico (HRM) evalúa la calidad semántica del análisis. Este HRM es crucial: proporciona una supervisión densa a nivel de paso y una evaluación holística a nivel de trayectoria, aprendiendo a través de la comparación de soluciones exitosas y fallidas (preference learning). Gracias a este sistema, Datarus-R1 aprende a evitar el "sobrepensamiento" (overthinking) que afecta a otros modelos, logrando una eficiencia de tokens que se traduce en ahorros de costes de entre el 18% y el 49%.https://arxiv.org/pdf/2508.13382