¡Cuidado! El razonamiento (CoT) daña tu precisión en seguridad y detección de alucinaciones

Descubre la sorprendente desventaja del razonamiento en los Modelos de Lenguaje Grandes (LLMs) para tareas de clasificación críticas, como la detección de seguridad del texto y la detección de alucinaciones en sistemas RAG. Aunque la generación asistida por razonamiento ("Think On") mejora la precisión general, bajo las estrictas exigencias de una Tasa de Falsos Positivos Baja (FPR bajo el 1%) necesarias para los despliegues prácticos, el rendimiento cae drásticamente. Esta caída ocurre porque el razonamiento polariza las puntuaciones de confianza, llevando a que las clasificaciones erróneas se realicen con "casi certeza", haciéndolas indistinguibles de las correctas bajo umbrales estrictos. Los expertos demuestran que la inferencia directa sin razonamiento ("Think Off") domina en estos regímenes sensibles a la precisión, logrando una recuperación de recall significativamente mayor (por ejemplo, una mejora de 2.9× en un clasificador de seguridad ajustado a 1% FPR). Además, el análisis confirma que la puntuación basada en tokens supera sustancialmente a la confianza auto-verbalizada para despliegues de precisión-sensible, y que un ensamble simple de los modos "Think On" y "Think Off" logra recuperar tanto la alta precisión como el recall práctico en bajo FPR.https://arxiv.org/pdf/2510.21049