Curación de datos para LLMs: ¿Por qué menos es más? Scaling, LIMO y Model Collapse SEO

Este análisis presenta un marco teórico fundamental que aborda la paradoja central en Machine Learning: ¿Cuándo es mejor usar menos datos que el conjunto completo?. Demostramos que, en contraste con las leyes de escalado tradicionales de "más es más", métodos agresivos de curación de datos como LIMO y s1 logran un rendimiento superior utilizando solo una fracción del conjunto de datos original. La estrategia óptima no es universal, sino que está rigurosamente ligada a la calidad del generador (ρ) y la escala de datos disponible. Descubra las condiciones exactas donde el principio "less is more" aplica: si el generador es fuerte y los datos son abundantes, es óptimo enfocarse en ejemplos difíciles ("Keep Hard"). Esta curación estratégica no solo optimiza el rendimiento, sino que también es crucial para la estabilidad en bucles de auto-mejora, previniendo analíticamente el colapso del modelo (model collapse).https://arxiv.org/pdf/2511.03492