La IA que no sabía decir que no sabía

Durante una primera etapa en la evolución de sistemas de IA de propósito general, ejemplarizados por ChatGPT, se reveló una tendencia inquietante: aunque los problemas fáciles para los humanos suelen ser fáciles también para una IA, al mejorar los modelos mediante escalado y realimentación humana no se consigue asegurar un área fiable donde el modelo raramente se equivoque o el error sea fácilmente detectable, ni siquiera limitándose a preguntas fáciles. En general, la respuesta puede ser correcta o falsa, pero siempre es plausible, lo que resulta engañoso. Una parte importante del problema es que muchos sistemas tienden a ser “ultracrepidarios”, es decir, opinan de cosas que desconocen. Esto pone de manifiesto la necesidad de un cambio fundamental en el diseño y desarrollo de la inteligencia artificial de propósito general en la dirección de conseguir una IA que sepa decir que no sabe.