Heretic: Elimina la censura de LLM automáticamente. Abliteración avanzada para IA
Sobre este episodio
Descubre Heretic, la herramienta de GitHub que revoluciona el manejo de modelos de lenguaje (LLM) al ofrecer una eliminación totalmente automática de la censura (también conocida como "safety alignment") sin requerir costosos procesos de post-entrenamiento. Heretic emplea una implementación avanzada de abliteración direccional combinada con un optimizador TPE/Optuna para encontrar los parámetros óptimos, un proceso que no requiere conocimiento de los internos de los transformadores. La herramienta co-minimiza el número de negativas a responder ("refusals") y la divergencia KL, garantizando un modelo decensurado que conserva la máxima inteligencia y capacidad originales, superando a menudo la calidad de abliteraciones creadas manualmente por expertos (logrando solo 3/100 negativas y una divergencia KL de 0.16 en pruebas con gemma-3-12b-it). Mira cómo puedes decensorar modelos como Llama-3.1-8B en solo 45 minutos y explorar sus innovadoras características, como la interpolación lineal de direcciones de rechazo.https://github.com/p-e-w/heretic