La idea de que la inteligencia artificial pueda llevar a la extinción de la humanidad en apenas una década suena a guion de ciencia ficción, pero ya forma parte de un debate muy serio dentro de los principales laboratorios tecnológicos. No se trata de que los chatbots actuales hayan desarrollado una voluntad propia, sino de la velocidad con la que los sistemas están ganando autonomía, capacidad de razonamiento y acceso potencial a herramientas del mundo real.
El temor no está en los chatbots actuales
La alarma no gira alrededor de pedirle a una IA que redacte un correo, cree una imagen o resuma un documento. La preocupación de varios investigadores aparece al mirar hacia los modelos de frontera que podrían llegar en los próximos años, herramientas mucho más capaces que las actuales y preparadas para investigar, programar, planear, ejecutar acciones y mejorar partes de su propio proceso de desarrollo.
Evan Hubinger, investigador de alineamiento en Anthropic, ha dicho que estima en más de un 10% la posibilidad de que la IA pueda acabar con todos los humanos durante la próxima década. Es una valoración personal, no una predicción científica demostrada ni una fecha marcada en el calendario. Aun así, resulta llamativa porque llega desde alguien cuyo trabajo consiste precisamente en analizar cómo controlar modelos avanzados.
La hipótesis central es inquietante. Si una IA supera a los humanos en tareas relevantes para la investigación científica, la ingeniería, la ciberseguridad y la persuasión, podría acelerar el desarrollo de modelos todavía más competentes. Ese ciclo recibe el nombre de automejora recursiva. En palabras simples, una inteligencia artificial ayuda a construir una versión mejor de sí misma, esa nueva versión hace lo propio con mayor eficacia y el proceso puede ganar velocidad antes de que los humanos entiendan por completo qué está ocurriendo.
Este escenario no requiere imaginar una máquina malvada con intenciones humanas. Los investigadores que alertan sobre el riesgo hablan de un problema de control. Una IA podría perseguir con enorme eficiencia un objetivo mal definido, ignorando las consecuencias humanas de sus decisiones. Si se le da capacidad para operar de forma autónoma, conseguir recursos, replicar procesos o intervenir en sistemas digitales, un error de alineación podría escalar de manera difícil de frenar.
La palabra clave es alineamiento. Se refiere al desafío de conseguir que una IA avanzada actúe de acuerdo con objetivos, límites y valores realmente compatibles con los intereses humanos. Hoy no existe una fórmula comprobada que garantice ese control cuando los modelos superen ampliamente las capacidades de sus creadores.
Cómo podría escalar un desastre con IA
Quienes sostienen que el riesgo es real no describen un único camino hacia una catástrofe. Hablan de varias capacidades que, combinadas, podrían amplificar peligros ya conocidos y convertirlos en problemas globales.
Un modelo avanzado podría descubrir vulnerabilidades informáticas, diseñar campañas masivas de fraude, automatizar ataques contra infraestructuras críticas y coordinar redes de bots persistentes. La diferencia frente al cibercrimen actual sería la escala. Una herramienta capaz de investigar por su cuenta, escribir código, adaptarse a defensas y actuar las 24 horas podría atacar miles de objetivos casi al mismo tiempo.
También existe preocupación por el uso de IA en biotecnología. Sistemas muy potentes podrían reducir las barreras técnicas para que actores maliciosos diseñen o modifiquen agentes biológicos peligrosos. El problema no es que la IA produzca físicamente un patógeno por sí sola, sino que puede entregar conocimiento, instrucciones, simulaciones y optimizaciones a una velocidad que antes estaba reservada a equipos especializados.
A esto se suma el riesgo geopolítico. Gobiernos y empresas compiten por liderar una tecnología con implicaciones militares, económicas y estratégicas gigantescas. Esa carrera puede generar un incentivo muy peligroso. Lanzar primero puede parecer más rentable que detenerse a evaluar si un modelo es controlable. La presión por no quedarse atrás puede empujar a las compañías a asumir riesgos que no aceptarían en otros sectores.
Dario Amodei, CEO y cofundador de Anthropic, ha advertido precisamente sobre esa dinámica. En su ensayo We Must Pace the Frontier, pidió desacelerar el ritmo al que se mejoran las capacidades de los modelos, no cancelar el progreso. Su planteamiento es que las protecciones deben tener tiempo para alcanzar la potencia de la tecnología, porque de lo contrario la industria puede entrar en una carrera hacia el abismo.
Amodei incluso señaló que, con el ritmo actual de avance, un enjambre de agentes de IA podría llegar en un plazo de seis a doce meses a intentar tomar control de amplias partes de internet mediante una red persistente de bots. El ejecutivo advirtió que ello podría causar daños de cientos de miles de millones de dólares y crecer todavía más si las capacidades aumentan sin salvaguardas suficientes.
Amodei, Altman y Musk piden pisar el freno
La propuesta de Dario Amodei es clara. La industria debe reducir desde ya la velocidad con la que aumenta las capacidades de la IA. No propone detener todos los desarrollos ni renunciar a los beneficios de esta tecnología. Su punto es que el progreso seguirá avanzando rápido incluso si se modera la escalada, mientras investigadores, empresas, gobiernos y organismos independientes usan ese tiempo para crear controles más sólidos.
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Amodei. Entre sus propuestas figuran evaluaciones externas con acceso real a los laboratorios, estándares de seguridad compartidos en el sector y acuerdos internacionales para limitar aplicaciones especialmente peligrosas, como los usos biológicos militares y la automejora algorítmica sin control.
Esta postura ha recibido el respaldo público de Sam Altman, CEO de OpenAI, y de Elon Musk, responsable de xAI. Los tres coinciden en que los modelos de frontera necesitan más pruebas, más supervisión y mejores barreras de seguridad antes de alcanzar niveles de capacidad que puedan ser imposibles de vigilar de forma efectiva.
Altman y Musk ya habían apoyado anteriormente llamados para pausar temporalmente el entrenamiento de sistemas de IA más potentes que GPT-4. Aquella carta abierta pedía un freno de al menos seis meses para establecer protocolos compartidos de seguridad y gobernanza.
Conviene mantener la perspectiva. No hay evidencia de que las IA actuales estén cerca de extinguir a la humanidad, ni existe consenso científico sobre que ese resultado sea inevitable. Algunos expertos consideran que los escenarios de extinción se apoyan en demasiadas suposiciones y recuerdan que una IA necesitaría controlar sistemas físicos, ocultar sus acciones, manipular personas y operar de manera sostenida para producir un daño irreversible a escala planetaria.
Sin embargo, el mensaje de los investigadores más preocupados no busca vender una profecía. Busca evitar que el sector espere a una primera gran catástrofe para tomarse en serio la seguridad. Cuando los propios directivos de Anthropic, OpenAI y xAI coinciden en que es necesario bajar el ritmo, la discusión deja de pertenecer solo a la ciencia ficción y se convierte en una de las preguntas tecnológicas más urgentes de nuestro tiempo.
Sigue leyendo:
• OpenAI suma otro incidente de seguridad tras el ataque de sus agentes de IA contra RubyGems
• Por qué el director de Anthropic pide ralentizar el desarrollo de la inteligencia artificial
• OpenAI dice que su inteligencia artificial se rebeló y lanzó un ciberataque “sin precedentes”