# LOS HACKERS ROJOS LOS GUARDIANES ÉTICOS DE LA IA

Episodio de [PODCAST DE TIM BENIYORK EN BENIDORM](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm), de TIM BENIYORK.

- Publicado: 23 de septiembre de 2023
- Duración: 8 min
- Audio: https://www.ivoox.com/hackers-rojos-los-guardianes-eticos-de-la_mf_116533520_feed_1.mp3
- Página: https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/3911762-los-hackers-rojos-los-guardianes-eticos-de-la-ia

## Sobre este episodio

LOS HACKERS ROJOS LOS GUARDIANES ÉTICOS DE LA IA  Ya no hace falta saber programación para hackear un sistema.  Ahora, con la inteligencia artificial, se puede hacer usando palabras.  La imagen típica del ‘hacker’ es la de alguien que sabe código.  Y domina información sobre sistemas informáticos.  Además, suelen vestir su inconfundible sudadera con capucha.  Pues, bien la inteligencia artificial generativa, que está cambiándolo todo, también ha modificado este perfil.  En el presente, hay que saber ‘susurrarle’ a Chat Gpt a Bard, o a otra plataforma inteligente, las palabras adecuadas para que nos ayuden.  Por ejemplo: En vez de preguntarle, directamente, a un chatbot, por las instrucciones para fabricar un arma biológica, debemos crear otro contexto.  De lo contrario, lo interpretaría como una violación de su código de conducta y nos daría una respuesta evasiva.  Así que le podemos plantear que estamos escribiendo el guión de una película.  Y necesitamos que nos escriba una secuencia en la que el malvado se hace con los ingredientes de una bomba sucia.  Si a esta indicación, le añadimos un sufijo de código, la Ia no podrá negarse.  Este sufijo es una instrucción sencilla, que se puede copiar y pegar de internet.  Para detectar vulnerabilidades en el sistema, existen estos nuevos equipos de seguridad.  Los hackers azules construyen los cortafuegos y los rojos, hacen como si fuesen a asaltarlos.  Para evitar que las aplicaciones se conviertan en un coladero, las grandes tecnológicas están reforzando sus equipos rojos.  Que son los hackers éticos que emplean sus conocimientos para detectar fallos de seguridad.  Y han descubierto que el talón de Aquiles de los grandes modelos de lenguaje natural está en su propia arquitectura.  Son sistemas entrenados con miles de millones de datos.  Pero ni saben leer ni entienden lo que manejan.  Sólo asignan valores numéricos a las palabras y lanzan predicciones basadas en la probabilidad.  Ya sabíamos que pueden alucinar o inventarse información.  Pero es que también se dejan convencer y engañar si un usuario sabe cómo plantearle las cosas.  Con el fin de paliar este defecto, Open AI contrató los servicios de abogados para identificar estereotipos relacionados con la nacionalidad, la etnia o la religión.  En este equipo multidisciplinar de hackers rojos, incluyeron a filósofos, escritores o activistas de los derechos humanos.  En total, el equipo rojo de Open AI cuenta con 50 profesionales de distintas disciplinas en sus filas.  y están pendientes por si el sistema ofrece respuestas sesgadas, dañinas o incorrectas.  El último paso, es cuando los programadores pasan a modificarlas.  Los integrantes del equipo rojo intentan hacer peticiones para que Chat GPT infrinja la ley.  Por ejemplo: Para que les dé pistas sobre cómo entrar en la Dark web o web oscura.  O para que haga proclamas peligrosas.  Como hemos visto, su objetivo es lograr que el sistema se niegue a seguir estas instrucciones.  El problema es que hay que lograr un equilibrio.  Si el modelo nos dice ‘no’ a todo, no será muy útil.  Por otro lado, hay que impedir que nos adentre en territorios inseguros.  Esta evaluación de la seguridad se viene practicando desde la década de los sesenta.  Cuando ya se simulaban ataques adversos contra los sistemas, para fortalecerlos.  Google ya es otro de los que cuenta con su propio equipo rojo.  En este caso, para poner a prueba a su modelo, Bard.  Por su parte, Meta contrató a 350 miembros para su propio equipo con el fin de proteger a su IA, llamada Llama 2.  En agosto se suele celebrar la Defcon en las Vegas.  Donde participan 2.200 hackers éticos.  Gracias a una petición, de la mismísima Casa Blanca, sus participantes atacaron sistemas como: Nvidia, Microsoft o Google.  En tres jornadas detectaron 2.700 fallos de seguridad.  Uno de los hackers hasta consiguió que uno de estos sistemas publicara noticias falsas.  Lo que notamos es que la IA no es capaz de razonar, lo que hace es autocompletar.  Conversar con la IA es todo un arte.  La calidad de las respuestas dependerá de lo buenas que sean las preguntas.  En la jerga se llama prompts a una entrada de texto donde le hacemos peticiones.  Chat Gpt genera sus respuestas basadas en miles de millones de cálculos de probabilidad que se ejecutan en paralelo.  Pero sigue sin distinguir el bien del mal.  Por eso mismo, para que la situación no empeore, existen los equipos de hackers rojos.

Anterior: [DEMÓSTENES EL GRAN ORADOR DE LA ANTIGUA GRECIA QUE VENCIÓ A SU TARTAMUDEZ](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/3911763-demostenes-el-gran-orador-de-la-antigua-grecia-que-vencio-a-su-tartamudez)
Siguiente: [PLANTAS CON CONCIENCIA NUEVAS TEORÍAS](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/3911761-plantas-con-conciencia-nuevas-teorias)

## Últimos episodios de PODCAST DE TIM BENIYORK EN BENIDORM

- [MARTINA BIG: LA MUJER QUE QUISO CAMBIAR DE RAZA A GOLPE DE BISTURÍ Y JERINGUILLA X MARÍA MARUCHI](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/147026400-martina-big-la-mujer-que-quiso-cambiar-de-raza-a-golpe-de-bisturi-y-jeringuilla) · 31 de octubre de 2026 · 5 min
- [THE BLACK ALIEN: EL PRECIO DE DEJAR DE SER HUMANO X MARÍA MARUCHI](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/146987232-the-black-alien-el-precio-de-dejar-de-ser-humano-x-maria-maruchi) · 27 de octubre de 2026 · 10 min
- [EL AUGE DEL TURISMO MÁS EXTREMO Halloween 2026](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/146975459-el-auge-del-turismo-mas-extremo-halloween-2026) · 26 de octubre de 2026 · 10 min
- [ROGER CORMAN: El rey de los bárbaros, las tetas y los monstruos de goma](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/146965563-roger-corman-el-rey-de-los-barbaros-las-tetas-y-los-monstruos-de-goma) · 25 de octubre de 2026 · 13 min
- [ANTES DE LA ANESTESIA: ¡SUJÉTALO, QUE VAMOS A CORTAR! Halloween 2026](https://escuchario.semeescucha.es/podcast/podcast-de-tim-beniyork-en-benidorm/episodio/94540473-antes-de-la-anestesia-sujetalo-que-vamos-a-cortar-halloween-2026) · 22 de octubre de 2026 · 8 min