CoT continuas para LLMs: Entrenamiento con Soft Tokens y RL para máxima diversidad SEO

Descubre la revolución en el entrenamiento de Modelos de Lenguaje Grandes (LLMs) mediante Cadenas de Pensamiento Continuas (CoT) utilizando "soft tokens" y Aprendizaje por Refuerzo (RL). Este trabajo introduce el primer método escalable para aprender CoT continuas sin depender de rastreos discretos de CoT (ground-truth), ofreciendo una sobrecarga computacional mínima que permite manejar CoTs de cientos de tokens. Los tokens blandos o difusos ("fuzzy tokens") simulan una superposición de múltiples rutas de razonamiento, lo que proporciona una mayor expresividad que los tokens discretos tradicionales. En benchmarks de razonamiento matemático como GSM8K y MATH, el entrenamiento con CoT continuas iguala el rendimiento de pass@1 y supera al entrenamiento discreto en pass@32, demostrando una mayor diversidad de CoT. Curiosamente, la mejor performance se obtiene al entrenar con tokens continuos y luego usar inferencia discreta ("hard inference"), un hallazgo que permite el despliegue estándar del modelo. Además, esta aproximación de "toque más suave" mejora la robustez del modelo base, preservando sus predicciones en tareas fuera de dominio (out-of-domain) y evitando el colapso observado con el entrenamiento discreto en algunos modelos, como Llama-8B-Instruct.https://arxiv.org/pdf/2509.19170