DARLING: El RL que soluciona el colapso de diversidad en LLMs . Más calidad y más creatividad

Descubre Darling (Diversity-Aware Reinforcement Learning), un marco innovador diseñado para prevenir la significativa reducción de la diversidad que a menudo ocurre durante el post-entrenamiento de los Modelos de Lenguaje Grandes (LLMs). A diferencia de los enfoques de Reinforcement Learning (RL) que solo priorizan la calidad (como GRPO), Darling optimiza conjuntamente la calidad y la diversidad semántica. Esto se logra mediante la introducción de una función de recompensa que multiplica la evaluación de diversidad (capturada por un clasificador semántico) con la recompensa de calidad, amplificando así la ventaja de aquellas respuestas que son tanto de alta calidad como distintas de otras generaciones. Los experimentos demuestran que Darling no solo preserva la diversidad original del modelo, sino que también impulsa la exploración en línea, resultando en respuestas de mayor calidad. Consigue puntuaciones superiores de calidad y novedad en benchmarks no verificables (como la escritura creativa, destacando por ser "Interesante y Original" y por "Evitar Clichés") y mejora el rendimiento en tareas verificables (como las matemáticas de competición, aumentando pass@1 y pass@k).https://arxiv.org/pdf/2509.02534