Ep.2: Gobernanza y Seguridad de Agentes
Sobre este episodio
En este segundo episodio de "La Humanidad Aumentada", David Nogueras y Antonio Medina exploran los desafíos de gobernanza, seguridad y regulación de la IA generativa y los agentes inteligentes. Temas principales: 🔹 Caso Cloud Bot : Analizan el meteórico ascenso de esta aplicación de código abierto que pasó de cero a millones de usuarios en solo 5 días, superando récords históricos de Linux. Discuten los problemas de seguridad que surgieron, incluyendo cambios de marca forzados y malware en extensiones. 🔹 Riesgos de los agentes de IA : Más allá de las alucinaciones (que han disminuido significativamente), los verdaderos riesgos actuales incluyen: Control de acceso y credenciales Sesgos en el entrenamiento Tendencia a complacer al usuario Shadow AI (agentes no controlados en las organizaciones) 🔹 Casos reales problemáticos : Desde el chatbot de Air Canada que ofrecía reembolsos incorrectos, hasta sistemas de crédito con sesgo de género. 🔹 Regulación vs. Innovación : Debate sobre el enfoque regulatorio de la UE frente al modelo más liberal de Estados Unidos y Asia. ¿Estamos sacrificando innovación por seguridad o construyendo confianza a largo plazo? 🔹 Responsabilidad : ¿Quién tiene la culpa cuando un agente de IA comete un error? La importancia del rol de "AI Owner" y la responsabilidad compartida entre usuarios, empresas y desarrolladores de modelos. Conclusión : Los agentes de IA tienen el potencial de convertirse en empleados digitales, pero requieren gobernanza clara, supervisión humana y límites bien definidos para evitar riesgos operacionales, reputacionales y legales.