LLMs fallan: UniCode, el benchmark anti-contaminación de programación algorítmica

Descubre UniCode, un innovador framework de evaluación generativa que aborda el desafío de los benchmarks estáticos y la contaminación de datos en la generación de código por Large Language Models (LLMs). Inspirado en la evolución biológica, UniCode genera automáticamente problemas algorítmicos novedosos mediante tres estrategias clave (extensión de problema único, fusión de mismo tipo y fusión de tipo cruzado). Su innovación principal reside en su tubería de síntesis de casos de prueba impulsada por estrés, que genera conjuntos de pruebas robustos y de alta cobertura sin necesidad de una solución canónica previa. Evaluando 19 LLMs, UniCode demostró ser extremadamente desafiante y discriminativo: el modelo de mejor rendimiento, o4-mini, solo alcanzó una tasa de aprobación del 66.1% (pass@1). Además, los modelos exhibieron una fragilidad generalizada ante casos adversariales, con una caída promedio del 11.2% en rendimiento en entradas extremas. Este análisis es crucial para entender la verdadera capacidad de razonamiento y generalización de los modelos modernos en programación competitiva.https://github.com/grandsmile/UniCodehttps://arxiv.org/pdf/2510.17868