ATA 790 ¡Exprime tu IA local! Domina Ollama desde la terminal 🚀

¡Hola! Soy Lorenzo y esto es Atareao con Linux. Bienvenidos al episodio número 790, la segunda entrega de nuestra serie dedicada a montar nuestro propio laboratorio de Inteligencia Artificial local. Antes de meternos en harina, quiero darte las gracias de todo corazón. El primer episodio de esta serie ha tenido una acogida espectacular, y eso me llena de satisfacción y me da muchísima energía para seguir compartiendo contigo todo este camino. Parece que no soy el único que tiene ganas de recuperar el control de sus datos y de jugar con estos modelos de lenguaje sin depender de servicios externos. En el episodio anterior estuvimos centrados en la infraestructura: montamos Ollama usando Quadlets y dejamos todo listo para empezar a funcionar. Pero hoy vamos a cambiar el tercio. Hoy vamos a dejar de hablar de configuraciones de sistemas para empezar a hablar, literalmente, con la inteligencia. Y lo vamos a hacer de la forma más pura y directa posible: a través de la terminal. Seguramente te preguntarás: "¿Pero Lorenzo, para qué voy a usar la terminal si ya hay interfaces web que son una maravilla?". Pues te lo cuento con todo el entusiasmo del mundo: para entender qué está pasando de verdad. En este episodio vamos a exprimir Ollama desde la línea de comandos, bajando al barro, porque hay opciones y configuraciones que en las interfaces gráficas a veces quedan ocultas o simplificadas. Si queremos ser verdaderos "cacharreros" de la IA, tenemos que saber qué pasa bajo el capó. Hardware y monitorización en tiempo real En este episodio te cuento cómo estoy viviendo la experiencia con mi hardware. Estoy utilizando una tarjeta Nvidia GeForce RTX 4060 en un equipo Slimbook que va como un tiro. Te explico cómo monitorizo el uso de la GPU y cómo puedes ver, de forma casi mágica, el momento exacto en el que el modelo se carga en los 16 GB de memoria y empieza a consumir recursos. Es fascinante ver cómo el uso de la tarjeta pasa del 0% al 100% mientras la IA genera una respuesta para nosotros. Entender esta relación entre el hardware y el software es fundamental para saber qué modelos podemos ejecutar y cuáles nos van a mandar a "freír espárragos". Dominando los meta-comandos de Ollama A lo largo del audio, vamos a desgranar una serie de comandos que te van a convertir en un maestro de la IA local: Información detallada Personalidad y roles. Rendimiento puro. Creatividad bajo control. Capítulos del episodio: 00:00:00 - Bienvenida y agradecimientos por la acogida 00:00:40 - El laboratorio de IA: Recapitulando el episodio anterior 00:01:34 - ¿Por qué bajar al barro con la terminal? 00:03:31 - Preparando el entorno y monitorizando la GPU Nvidia 00:05:00 - Flujo de trabajo: Arrancar el contenedor y el modelo 00:05:35 - Comandos de ejecución, Podman y atajos útiles 00:06:40 - Regalo: Una chuleta (cheat-sheet) para dominarlos a todos 00:07:48 - Hablando con Ollama de forma interactiva 00:08:24 - Meta-comandos: Descubriendo las tripas del modelo 00:09:12 - Licencias y parámetros técnicos del modelo 00:10:05 - Configurando el rol de experto desarrollador 00:11:15 - Midiendo el rendimiento: Tokens por segundo 00:12:00 - Modo silencioso y generación de scripts 00:12:55 - Atajos de teclado y ayuda rápida 00:13:35 - Ajustando la temperatura y la creatividad 00:14:40 - Cómo guardar y cargar tus modelos personalizados 00:15:20 - Poniendo a prueba a la IA: Verificación de código 00:16:15 - Monitorización en tiempo real de CPU y GPU 00:17:40 - Cómo elegir el modelo ideal según tu hardware 00:19:08 - Próximos pasos: La REST API de Ollama 00:20:30 - Despedida y consejos de vida Más información y enlaces en las notas del episodio 🌐 Aquí lo puedes encontrar todo 👉 https://atareao.es ✈️ Telegram (el grupo) 👉 https://t.me/atareao_con_linux ✈️ Telegram (el canal) 👉 https://t.me/canal_atareao 🦣 Mastodon 👉 https://mastodon.social/@atareao 🐦 Twitter 👉 https://twitter.com/atareao 🐙 GitHub 👉 https://github.com/atareao