EVOL-RL: LLMs que evolucionan sin etiquetas. Evita el colapso de entropía y duplica el rendimiento
Sobre este episodio
Descubre EVOL-RL, el marco de Reinforcement Learning (RL) diseñado para permitir que los Large Language Models (LLMs) se auto-mejoren continuamente utilizando flujos de datos sin etiquetas ni jueces externos. A diferencia de los métodos previos basados únicamente en la mayoría, como TTRL, que sufren de un colapso de entropía que reduce la diversidad y la complejidad del razonamiento, EVOL-RL propone una regla que equilibra la estabilidad con la variación. Este enfoque utiliza la respuesta de voto mayoritario como ancla de selección y añade una recompensa de novedad que favorece el razonamiento semánticamente distinto dentro del grupo. Esta combinación evita el colapso, mantiene cadenas de pensamiento más largas e informativas, y desbloquea una fuerte generalización entre dominios (OOD); por ejemplo, el entrenamiento con EVOL-RL en AIME24 elevó la precisión pass@16 en el desafiante benchmark AIME25 de 18.5% (TTRL) a 37.9%.https://arxiv.org/pdf/2509.15194