[2006] A Fast Learning Algorithm for Deep Belief Nets - Hinton et al.

Este artículo presenta un algoritmo de aprendizaje rápido y codicioso diseñado para entrenar redes de creencia profundas, estructuras que históricamente han sido difíciles de optimizar debido a la complejidad de inferir estados ocultos. Los autores proponen el uso de priors complementarios para anular el efecto de "explicar la desaparición" (explaining away), permitiendo que la red se aprenda de manera eficiente capa por capa tratándolas como máquinas de Boltzmann restringidas. Tras este proceso inicial, se utiliza el algoritmo up-down para realizar un ajuste fino de los pesos, mejorando significativamente la capacidad del modelo para representar distribuciones de datos complejas. El propósito final es demostrar que este modelo generativo supera a los mejores métodos discriminativos en la clasificación de dígitos escritos a mano, permitiendo además visualizar las representaciones internas de la red al generar imágenes directamente desde su memoria asociativa.