[2013] Efficient Estimation of Word Representations in Vector Space - Mikolov et al.

Este influyente artículo presenta arquitecturas de modelos log-lineales diseñadas para generar representaciones vectoriales continuas de palabras a partir de conjuntos de datos masivos. Los autores introducen dos métodos innovadores, CBOW y Skip-gram, que eliminan las costosas capas ocultas no lineales para priorizar la eficiencia computacional sin sacrificar la precisión. Esta simplificación permite procesar miles de millones de palabras, logrando que los vectores resultantes capturen relaciones semánticas y sintácticas profundas mediante operaciones algebraicas simples. El propósito fundamental del texto es demostrar que es posible obtener un rendimiento de estado del arte en tareas de similitud lingüística reduciendo drásticamente el tiempo y los recursos necesarios para el entrenamiento.