Desentrañando la Mente de la IA: Circuitos dispersos revelan el funcionamiento de GPT

Descubre la nueva frontera en la Interpretación Mecanicista de modelos de lenguaje. OpenAI ha entrenado transformadores dispersos con una arquitectura similar a la de modelos existentes como GPT-2, pero forzando a que la vasta mayoría de sus pesos sean ceros, limitando cada neurona a solo unas pocas docenas de conexiones. Este enfoque innovador produce circuitos dispersos que están mucho más desentrelazados y son hasta 16 veces más pequeños que los encontrados en modelos densos comparables, siendo necesarios y suficientes para tareas específicas como el cierre de cadenas de texto (manejo de comillas) o el seguimiento de variables. Entender estos mecanismos a un nivel granular y de pasos rastreables es fundamental para la seguridad del sistema, permitiendo una mejor supervisión y proporcionando señales de advertencia temprana de comportamientos preocupantes o desalineados.https://openai.com/index/understanding-neural-networks-through-sparse-circuits/