¡LLMs más listos con TOP! La predicción del orden de tokens supera a la predicción del próximo token

En este podcast, exploramos la Predicción del Orden de Tokens (TOP), una innovadora función de pérdida auxiliar que está revolucionando el entrenamiento de los Modelos de Lenguaje Grandes (LLMs). A diferencia de la Predicción de Múltiples Tokens (MTP), que intenta la difícil tarea de predecir exactamente los tokens futuros y ha mostrado mejoras inconsistentes, TOP entrena a los modelos para ordenar los próximos tokens según su proximidad utilizando una pérdida de aprendizaje a clasificar. Esta aproximación no solo es una tarea más sencilla y escalable para los modelos, sino que también es más eficiente en cuanto a parámetros, requiriendo solo una capa adicional de 'unembedding' en comparación con las múltiples capas de transformador de MTP. Descubre cómo TOP supera consistentemente a NTP y MTP en benchmarks estándar de PNL, incluso en modelos a gran escala, ofreciendo una dirección prometedora para mejorar la capacidad de los LLMs.https://arxiv.org/pdf/2508.19228