[2014] Neural Machine Translation by Jointly Learning to Align (Attention) - Bahdanau et al.

Este artículo presenta una innovación fundamental en la traducción automática neuronal al introducir un mecanismo de atención que supera las limitaciones de los modelos previos de codificador-decodificador. Los autores argumentan que comprimir toda la información de una oración en un vector de longitud fija genera un cuello de botella, lo cual provoca que el rendimiento disminuya drásticamente al procesar secuencias extensas. Para solucionar esto, proponen un modelo que busca automáticamente las partes más relevantes de la oración original para predecir cada palabra del idioma destino, permitiendo una traducción más fluida y precisa. Gracias a este enfoque de alineación y traducción conjunta, el sistema logra resultados comparables a los métodos estadísticos tradicionales y demuestra una robustez excepcional al manejar frases largas sin perder el contexto.