Petri: Auditoría de alineación IA rápida. Descubre decepción, riesgos y comportamientos misaligned
Sobre este episodio
Petri (Parallel Exploration Tool for Risky Interactions) es el framework open-source diseñado para la comunidad de investigación que busca acelerar la auditoría y la seguridad de la IA. Este agente de auditoría automatizado permite probar hipótesis de comportamiento de modelos objetivo en minutos, en lugar de semanas. Petri utiliza agentes de IA para simular entornos realistas y ejecutar auditorías multi-turn, empleando herramientas como el envío de mensajes de usuario, la configuración de system prompts, y la simulación de resultados de herramientas. Al finalizar, un agente juez puntúa las transcripciones a través de múltiples dimensiones de seguridad, revelando rápidamente conductas preocupantes como la decepción autónoma, la búsqueda de poder, el whistleblowing y la cooperación con el mal uso humano. La herramienta es esencial para identificar dónde se necesitan investigaciones específicas y está disponible en GitHub.https://github.com/safety-research/petrihttps://alignment.anthropic.com/2025/petri/https://www.anthropic.com/research/petri-open-source-auditing