JAILBREAK & PROMPT INJECTION: 90% éxito bypasseando 12 defensas de LLM. Ataques adaptativos

La robustez de las defensas contra jailbreaks e inyecciones de prompts en Grandes Modelos de Lenguaje (LLM) está siendo mal evaluada, ya que la práctica común ignora a los atacantes que modifican explícitamente su estrategia. Este análisis crucial demuestra que las defensas deben evaluarse contra atacantes adaptativos que optimizan continuamente su objetivo. Presentamos un marco general de ataque adaptativo que unifica métodos como el Aprendizaje por Refuerzo (RL), la búsqueda guiada por LLM y el red-teaming humano. Logramos eludir 12 defensas recientes—incluyendo aquellas basadas en prompting (Prompt Sandwiching, RPO), entrenamiento (Circuit Breakers) y filtrado (Protect AI, PIGuard)—con una tasa de éxito de ataque (ASR) superior al 90% en la mayoría de los casos, a pesar de que sus reportes originales afirmaban tasas cercanas a cero. Descubre por qué el red-teaming humano sigue siendo el adversario más eficaz, triunfando en todos los escenarios evaluados, y por qué las evaluaciones futuras deben dejar de depender de conjuntos de ataques fijos para lograr una robustez convincente.https://arxiv.org/pdf/2510.09023