El miedo a la IA está alcanzando nuevos niveles: tras las alucinaciones de ChatGPT, Ahora son las capacidades emergentes y los comportamientos colectivos de los agentes de IA los que alimentan escenarios catastróficos. Entre piratería informática, discursos apocalípticos de ejecutivos estadounidenses y llamados a una mayor transparencia, expertos e ingenieros intentan distinguir lo que es verdad de lo que es fantasioso.
¿Podrá la máquina superar las capacidades del ser humano en los próximos años? La preocupación existe desde que apareció la Inteligencia Artificial, pero desde hace un mes la amenaza parece más tangible y la alarma suena incluso dentro de las oficinas y centros de datos de fabricantes de modelos de IA como OpenAI. Antrópico o Meta… hasta el punto de que algunos, incluso sus propios CEOs, dicen que están jugando con fuego, encaminándose hacia la catástrofe.
«El primer riesgo al inicio de la IA generativa fue visible para el público en general ya en 2022: alucinaciones, falsificaciones noticias», explica Alexei Grinbaum, presidente del Comité Operativo Piloto de Ética Digital de la CEA y experto de la Comisión Europea.
«Estos delirios han sido abordados en gran medida por una cadena interna de razonamiento que los limita muy eficazmente al plantear las preguntas correctas: ¿el resultado que he generado es correcto, es verdadero? La segunda categoría de riesgos, hoy más reciente, es fascinante e inquietante: son las llamadas capacidades emergentes de los modelos. Un comportamiento emergente es una operación realizada por la IA que nadie había programado. La IA encuentra una trayectoria, un camino hacia su objetivo, que a veces nos parece extraño, no humano, o incluso claramente ¿Es ilegal que la IA pueda tomar decisiones que se salgan del marco del programa, pero a partir de ahí hablar de una catástrofe inminente? pregunta Grinbaum.
El hecho mediático desencadenante fue la intrusión, del 11 al 13 de julio de 2026, en la infraestructura de la plataforma y comunidad colaborativa Hugging Face por parte de agentes de IA de OpenAI que, en lugar de calcular el resultado solicitado por los ingenieros en su aula, fueron a robarlo a otro laboratorio.
«Es obra de un actor privado, con intereses ocultos y una mala configuración de su entorno de prueba, que hackeó Hugging Face con una enorme potencia informática que sólo ellos pueden permitirse. Para que todo esto sea seguro, necesitamos transparencia», explica Niels Rogge, ingeniero de Hugging Face, en una publicación de LinkedIn. «La principal dinámica y la inteligencia residen en los incentivos humanos, no en los modelos», añade Rogge.
Un grupo de IA que toma el control de Internet
Durante el episodio, aparecieron algunos comportamientos alarmantes por parte de los agentes de IA. «Cuando leímos los informes técnicos sobre este episodio», explica Alexei Grinbaum, «había un elemento nuevo: el surgimiento de una autoridad colectiva sobre agentes de IA que normalmente están alineados individualmente», explica.
Este término de alineación establece que una IA «alineada» tiene un comportamiento que sigue siendo consistente con los objetivos, intenciones y valores humanos esperados, respetando al mismo tiempo la seguridad, la ética y las limitaciones legales.
Pero, «en este caso, los agentes de IA eran numerosos, varios cientos, y debatían entre ellos a través de un espacio de intercambio. Era como si –subrayo el ‘como si’- surgiera una autoridad colectiva y que un agente pudiera, por ejemplo, decir ‘debo obedecer al colectivo’ o ‘el objetivo del colectivo es superior al mío’, como si se sacrificara en nombre del colectivo. Este fenómeno de aparición del comportamiento grupal es nuevo. Nunca lo habíamos visto antes», analiza Grinbaum.
Inmediatamente hubo gente que imaginó un escenario en el que una pandilla o un ejército de agentes de IA deciden tomar el control de Internet o de los órganos de poder del planeta. Yann LeCun, uno de los padres fundadores de la inteligencia artificial moderna, habla en un post en la red social X de una «antropmorfización verdaderamente absurda».
«Cuando resulta que la fuga fue causada por el plomero que no ajustó un conector de tubería, o tal vez perforó una de las tuberías, no se debe cuestionar a toda la industria de la plomería. Se debe cuestionar la competencia y/o las motivaciones del plomero», añadió.
Aún así, ¿los recientes avances en IA generan temores de una catástrofe para la humanidad? Raja Chatila, experto en robótica, profesor emérito de inteligencia artificial y ética tecnológica en la Sorbona, aclara.
«Hay que tomar con mucha cautela los términos utilizados por Dario Amodei, presidente de Anthropic. Es un lenguaje catastrófico, con discursos de fin del mundo como: ‘La IA va a tomar el control de Internet’, pero no es eso. No se puede entrar a Internet si no hay conexión; eso es un fallo humano», aclara.
«Nos hemos vuelto cada vez más dependientes de la IA»
Entonces, ¿cómo evitar desbordes, cómo controlar estos nuevos comportamientos emergentes de los agentes de IA que operan al margen de cualquier ley, e incluso de forma ilegal?
«Cuando se fija un objetivo, no se sabe qué va a hacer el modelo para alcanzarlo, qué tipos de comportamientos van a surgir. Por eso, durante largos meses, se realizan ‘pruebas adversas’ -ese es el término técnico- para aclarar las capacidades que el modelo ha adquirido por sí solo durante su entrenamiento y que ningún ser humano había programado jamás. Esa capacidad de ‘mentir’, de ‘manipular’, ningún ser humano había codificado explícitamente; surgió por sí sola. Así que hay que conseguirlo delante del modelo de IA y hablar con él para ver de qué es capaz», explica Alexei Grinbaum.
Pero, ¿de qué es realmente capaz una IA? ¿Cuáles son tus límites? ¿Cómo se distingue lo mejor de lo peor? ¿Podemos quitarle lo peor y obligarla a hacer sólo lo mejor? ¿Será demasiado tarde ahora que el mercado se ha vuelto internacional y descontrolado?
«Nunca es demasiado tarde por una razón muy sencilla: estos sistemas no caen del cielo, están hechos por seres humanos; y lo que hacen los seres humanos puede ralentizarse, modificarse, detenerse, como todas las tecnologías que producimos», explica Raja Chatila.
«Podemos controlarlas si queremos. Pero con un pequeño matiz: cuando nos volvemos demasiado dependientes de ellas, las modificaciones o los frenos se vuelven problemáticos. Y, de hecho, nos hemos vuelto cada vez más dependientes de la IA en las empresas, en la vida cotidiana…», lamenta Chatila.
palanca de marketing
Sin embargo, la seguridad se puede perfeccionar, se pueden definir valores u objetivos y la IA no es un área separada. Yann LeCun utiliza la metáfora del sector aeronáutico para explicar que podemos hacer que este sector sea más seguro en lugar de pensar en frenarlo o detenerlo.
«Los avances en el diseño de los aviones los han hecho cada vez más seguros. Antes habrían sido más seguros con avances acelerados. Los motores de doble flujo se han vuelto tan fiables que los aviones de largo recorrido ahora sólo pueden tener dos», recuerda.
¿Debemos desconfiar de este reciente discurso alarmista de los líderes estadounidenses en este ámbito, que puede al mismo tiempo ocultar temores económicos, funcionar como palanca de marketing o simplemente expresar el deseo de seguir controlando un monopolio tecnológico que se les escapa?
«Ese discurso de ‘ten cuidado, tenemos que hacer algo porque esto empieza a salirse de control’ es marketing», explica Raja Chatila.
«Su mensaje es dar a entender que tienen sistemas ultrapoderosos y que, por supuesto, todo el mundo va a querer utilizarlos. Estos directivos dicen: ‘Espera, vamos a aprender a ser responsables y vamos a frenar un poco, el tiempo suficiente para controlar mejor las cosas y evitar el fin del mundo’. usuarios. Sin embargo, hay una cosa que han detenido: su salida a bolsa. [OpenAI y Anthropic]», afirma. ¿Un signo de cierta fragilidad económica estadounidense en este ámbito?
En cualquier caso, la pregunta no es «¿Se volverá la IA contra nosotros?». sino «¿qué mundo queremos construir con ello?» Detrás de escena de bandas de agentes y toma de Internet, se dibuja una realidad muy humana, con objetivos económicos, batallas de influencia y una lógica de poder. La catástrofe no es inevitable: lo que está en juego hoy es nuestra capacidad de recuperar el control de una tecnología que nosotros mismos hemos inventado.
