Pruning como un juego: Cómo la teoría de juegos crea redes neuronales más eficientes

En este podcast exploramos una perspectiva revolucionaria presentada en las fuentes: el pruning de redes neuronales entendido como un equilibrio en un juego no cooperativo. A diferencia de los métodos tradicionales que imponen la escasez mediante heurísticas externas, este enfoque modela a las neuronas y filtros como jugadores estratégicos que compiten por recursos representacionales. Según explican las fuentes, la escasez (sparsity) surge de forma natural cuando la participación de un parámetro se vuelve una estrategia dominada, lo que lleva a su colapso hacia el cero sin necesidad de puntuaciones de importancia externas. Analizamos el algoritmo de poda impulsado por el equilibrio, que optimiza conjuntamente los parámetros y las variables de participación, logrando un balance sorprendente entre precisión y eficiencia en arquitecturas sobreparametrizadas. Esta metodología no solo simplifica el proceso de compresión, sino que ofrece una base teórica sólida para entender por qué ciertos componentes se vuelven redundantes durante el entrenamiento.https://arxiv.org/pdf/2512.22106