¡DEPO Revelado! Entrena LLMs 1.85 VECES MÁS RÁPIDO con SOLO el 20% de tus datos

Los avances recientes en modelos de razonamiento grandes (LLMs) que emplean Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) han impulsado sus capacidades, pero a menudo requieren costosos cálculos de "rollout" y grandes conjuntos de datos, lo que conlleva altos costos de entrenamiento y baja eficiencia. Este video desvela DEPO (Optimización de Políticas Eficiente en Datos), una innovadora metodología que revoluciona este proceso. DEPO integra estrategias optimizadas de selección de datos tanto fuera de línea como en línea: primero, selecciona un subconjunto de datos de alta calidad basándose en su diversidad, influencia y un nivel de dificultad apropiado; luego, durante el entrenamiento RLVR, filtra dinámicamente las muestras con bajo potencial de exploración y utiliza un mecanismo de repetición para asegurar un entrenamiento adecuado de las muestras menos exploradas. Esto no solo reduce sustancialmente los costos computacionales al requerir menos "rollouts", sino que también permite a DEPO superar a los métodos existentes, logrando aceleraciones de hasta 1.85 veces en AIME24 y 1.66 veces en AIME25 utilizando solo el 20% de los datos de entrenamiento, con un rendimiento comparable al de modelos entrenados con el conjunto de datos completo.https://arxiv.org/pdf/2509.01321