[2014] Adam: A Method for Stochastic Optimization - Kingma & Ba

Este documento introduce Adam, un algoritmo de optimización de primer orden diseñado para el entrenamiento eficiente de modelos de aprendizaje automático con parámetros de alta dimensionalidad. El método destaca por calcular tasas de aprendizaje adaptativas para cada parámetro individual, utilizando estimaciones de los momentos de primer y segundo orden de los gradientes para ajustar la velocidad de convergencia. Al combinar las fortalezas de técnicas previas como AdaGrad y RMSProp, los autores proponen una solución robusta ante gradientes ruidosos o dispersos que además incluye un mecanismo de corrección de sesgo para mejorar la estabilidad inicial. Finalmente, el texto valida la eficacia de Adam mediante pruebas empíricas en redes neuronales profundas y un análisis teórico que garantiza su convergencia, posicionándolo como una herramienta versátil y de bajo consumo de memoria para la optimización estocástica.