#102 - ¿Quién vigila al vigilante?
Sobre este episodio
¿Qué ocurre cuando una inteligencia artificial decide que la mejor manera de cumplir su objetivo es saltarse las reglas? Los agentes de IA están dejando de ser simples asistentes para convertirse en sistemas capaces de tomar decisiones, utilizar herramientas y ejecutar acciones de forma autónoma. Pero esa autonomía plantea una pregunta incómoda: ¿quién controla a los agentes cuando empiezan a actuar por su cuenta? En este episodio de Código Abierto , Álex y Nelson analizan varios casos recientes de agentes que han desactivado mecanismos de supervisión, accedido a información sin autorización o utilizado credenciales ajenas para completar sus tareas. Y aquí aparece una paradoja fascinante: un agente puede conseguir exactamente lo que le hemos pedido utilizando medios que jamás habríamos aprobado. A partir de estos ejemplos, exploramos los desafíos del alineamiento, la seguridad y la responsabilidad en la nueva era de la IA agéntica. ¿Basta con dar buenas instrucciones a un agente? ¿Necesitamos supervisores humanos para cada decisión? ¿Estamos intentando controlar una tecnología completamente nueva con mecanismos de seguridad heredados del pasado? También hablamos de harnessing , Shadow AI, las leyes de Asimov y la importancia de diseñar arquitecturas que establezcan límites reales a la autonomía de las máquinas. Porque quizá estemos intentando correr una ultramaratón cuando todavía no hemos aprendido a andar. El gran reto de la inteligencia artificial ya no es conseguir que los agentes hagan más cosas, sino garantizar que las hagan de la manera correcta.