Mejora LLMs +33% sin referencias: CaT-RL transforma el entrenamiento de modelos

La metodología Compute as Teacher (CaT) responde a la pregunta de si el cómputo de inferencia puede sustituir la supervisión faltante, convirtiendo la exploración del modelo en una señal de entrenamiento sin necesidad de referencias humanas. Mediante CaT-RL, la política actual genera un conjunto de rollouts paralelos (exploración), y una política ancla (frozen anchor) sintetiza una única referencia estimada que resuelve omisiones y contradicciones. Este enfoque es crucial para tareas donde las etiquetas son escasas o imposibles, funcionando tanto en dominios verificables (como MATH-500, utilizando programmatic checkers) como en dominios no verificables (como HealthBench, mediante rúbricas autopropuestas que son evaluadas por un juez LLM). CaT-RL ha demostrado ser superior a la votación por mayoría y otros métodos de selección, ofreciendo mejoras relativas de hasta 33% en modelos 4B–8B (como Llama 3.1 8B, Qwen 3 4B y Gemma 3 4B). Descubre cómo CaT-RL genera una supervisión auditable que te permite entrenar modelos especializados sin depender de la anotación.https://arxiv.org/pdf/2509.14234