LLMs: MAXIMIZA eficiencia de datos (5.17X) con regularización y ensembling

Este estudio fundamental aborda el pre-entrenamiento de modelos de lenguaje (LLMs) ante la realidad de que el cómputo crece mucho más rápido que el texto web disponible, explorando cómo optimizar el entrenamiento cuando los datos son la principal restricción. Se demuestra que las recetas estándar de aumento de épocas o parámetros eventualmente conducen al overfitting; sin embargo, esta limitación se supera al aplicar una regularización adecuadamente ajustada, con un decaimiento de peso que puede ser hasta 30 veces mayor que la práctica común, logrando así un escalado monótono en la pérdida basado en las leyes de escalado. La intervención más efectiva para alcanzar el máximo rendimiento, caracterizado por una asíntota de pérdida inferior, es el ensembling de modelos entrenados de forma independiente, superando al escalado de parámetros regularizado simple. La combinación de escalado de parámetros y ensembling (escalado conjunto) resulta en una mejora de la eficiencia de datos de 5.17 veces respecto a la línea base estándar. Estos beneficios de ensembling y eficiencia de datos, que también mejoran los benchmarks posteriores en un 9%, pueden ser comprimidos y retenidos (83% de la mejora) al destilar el ensemble en un modelo estudiante 8 veces más pequeño, permitiendo la aplicación de estas técnicas incluso bajo restricciones de parámetros.https://arxiv.org/pdf/2509.14786v1