El dilema de OpenAI: ¿Por qué sus LLM actúan como estudiantes que adivinan en exámenes cruciales?

Este podcast explora el fenómeno de las alucinaciones en los modelos de lenguaje (LLM), revelando que, al igual que los estudiantes bajo presión, estos sistemas a menudo adivinan y producen afirmaciones plausibles pero incorrectas en lugar de reconocer su incertidumbre. La persistencia de estas alucinaciones se atribuye a los métodos de entrenamiento y evaluación actuales, que recompensan las conjeturas sobre la admisión de la incertidumbre, optimizando los modelos para obtener mejores resultados en pruebas binarias que penalizan las respuestas dudosas o la abstención. Lejos de ser misteriosos, estos errores se originan como errores de clasificación binaria debido a presiones estadísticas inherentes al proceso de pre-entrenamiento, incluso cuando los datos de entrenamiento son impecables. La solución propuesta es una mitigación sociotécnica: ajustar la forma en que se califican los benchmarks actuales para que dejen de penalizar la expresión de incertidumbre, fomentando así el desarrollo de sistemas de IA más confiables y honestos.https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf