Ep. 22: Scaling Laws - El Mapa del Tesoro para Construir LLMs

Hoy tocamos uno de los papers más influyentes de los últimos años, no porque introduzca una arquitectura nueva, sino porque responde una pregunta fundamental: ¿cómo mejoran los modelos de lenguaje si les das más recursos? La respuesta: de forma sorprendentemente predecible. Y conocer esa predicción cambió la forma en que los labs de AI decidían qué entrenar. En el camino hacia GPT-3, GPT-4, Claude y todos los LLMs modernos, este paper fue el mapa del tesoro. --- "Scaling Laws for Neural Language Models" Por Kaplan, McCandlish, Henighan, Brown, Chess, Child, Gray, Radford, Wu, y Amodei - OpenAI (2020)