El problema que ningún LLM solucionó: El límite real del razonamiento en IA

Pese al optimismo generado por los resultados "impresionantes" obtenidos por varias compañías comerciales en la Olimpiada Internacional de Matemáticas 2025 (IMO25), presentamos un contrapunto que revela la fragilidad del razonamiento de los principales Modelos de Lenguaje (LLMs), tanto propietarios como de código abierto. Analizamos el Problema 554 de Yu Tsumura, un desafío de teoría de grupos comparable en sofisticación a un problema de la IMO, cuya prueba es corta y requiere manipulación simbólica inteligente. Demostramos que ninguna de las 16 variantes de LLM evaluadas (incluyendo GPT-4o y Gemini 2.5 Pro) pudo resolverlo de manera robusta en una sola pasada ("one-shot"), fallando consistentemente debido a errores de álgebra, suposiciones injustificadas o argumentos incompletos. Este fallo sistemático subraya la necesidad de mejores benchmarks de razonamiento basado en pruebas en lugar de evaluaciones basadas únicamente en respuestas finales, enfatizando que la capacidad de razonamiento de la Inteligencia Artificial sigue siendo "frágil" (brittle) ante ciertos problemas matemáticos complejos.https://arxiv.org/pdf/2508.03685