Inferencia en GPU lenta al descubierto: fallback a CPU, conflictos de versiones CUDA/TensorRT y errores de contenedor (Doblaje IA)
Sobre este episodio
La factura de GPU sube, los paneles están en verde y aun así los clientes esperan. Este episodio investiga como un caso forense por qué la inferencia de Stable Diffusion con ONNX Runtime y TensorRT apenas usa la GPU mientras la latencia se dispara, y demuestra la solución con latencia, rendimiento y uso de GPU antes y después.Lo que aprenderás:Fallback a CPU: por qué ONNX Runtime recurre en silencio al proveedor de ejecución de CPU y la latencia se multiplica entre 10 y 30 vecesConflictos de versiones entre controlador, CUDA, cuDNN, ONNX Runtime y TensorRT que hacen perder sin aviso la atención fusionada y las optimizaciones FP16Errores de configuración de contenedores: imágenes infladas, dispositivos GPU sin montar, NVIDIA Container Toolkit y la arena de memoria de CUDAControles de arranque de integridad y rendimiento: verificar proveedores, calentamiento con prompts canario deterministas y fallo inmediato en lugar de degradación silenciosaUn protocolo de corrección repetible con matriz de versiones, motores TensorRT precompilados, IO binding, FP16 y despliegues blue-green con reversión automáticaPara ingenieros de ML y de plataforma y equipos de DevOps y SRE que ejecutan inferencia en GPU dentro de contenedores y quieren aceleración real por cada hora de GPU pagada.Este episodio es una versión en español doblada con IA del video animado de M365 Show del Microsoft MVP Mirko Peters.▶ Ver el video: https://youtu.be/7rNV_vcD -Fg🎧 Más episodios: https://www.m365 .fm🎤 M365Con – conferencia online gratuita de Microsoft: https://m365con .net💼 Mirko Peters en LinkedIn: https://www.linkedin.com/in/m365showpodcast/ Este episodio incluye contenido generado por IA.