El cofundador de Google, Larry Page, cree que la IA superinteligente es «sólo el siguiente paso en la evolución». De hecho, Page, que según algunos informes posee una fortuna de 120 mil millones de dólares, planteó que los esfuerzos para evitar la extinción impulsada por la IA y proteger la conciencia humana son no sólo «especistas» sino también «tonterías sentimentales.»

En julio, el ex científico senior de Google DeepMind Richard Sutton —uno de los pioneros del aprendizaje por refuerzo, un subcampo importante de la IA— dijo que la tecnología «podría desplazarnos de la existencia» y que «no debemos resistirnos a la sucesión.» En una charla de 2015, Sutton propuso un escenario en el que «todo falla» y la IA «nos mata a todos» y se preguntó: «¿Es tan malo que los humanos no sean la forma final de vida inteligente en el universo?» «La extinción biológica no es la cuestión», me dijo Sutton, de sesenta y seis años. «La luz de la humanidad y nuestro entendimiento, nuestra inteligencia —nuestra conciencia, si se quiere— pueden seguir sin humanos de carne».

Yoshua Bengio, de cincuenta y nueve años, es el segundo científico vivo más citado, y se destaca por su trabajo fundacional sobre el aprendizaje profundo. En respuesta a Page y Sutton, Bengio me dijo: «Creo que lo que quieren es jugar a los dados con el futuro de la humanidad. Personalmente, considero que esto debería penalizarse». Un poco sorprendido, le pregunté qué quería que se ilegalizara exactamente, a lo que respondió: los esfuerzos por construir «sistemas de IA que pudieran dominarnos y que por diseño tengan su propio interés». En mayo, Bengio empezó a escribir y explicar cómo los sistemas avanzados de IA podrían volverse rebeldes y suponer un riesgo de extinción para la humanidad.

Bengio plantea que los futuros sistemas de IA de nivel genuinamente humano podrían mejorar sus propias capacidades, creando funcionalmente una nueva especie más inteligente. La humanidad ya provocó la extinción de cientos de otras especies, en gran parte por accidente, y él teme que nosotros seamos los siguientes. Y no es el único.

En 2018 Bengio compartió el Premio Turing, el Nobel de la informática, con sus compañeros pioneros del aprendizaje profundo Yann LeCun y Geoffrey Hinton. Hinton, el científico vivo más citado, causó sensación en mayo cuando dimitió de su alto cargo en Google para opinar con más libertad sobre la posibilidad de que los futuros sistemas de IA acaben con la humanidad. Hinton y Bengio son los dos investigadores de IA más destacados que se han unido a la comunidad del «riesgo x». A veces denominados defensores de la seguridad de la IA o catastrofistas, a este grupo poco unido le preocupa que la IA suponga un riesgo existencial para la humanidad.

El mismo mes en que Hinton renunció a Google, cientos de investigadores de IA y figuras notables firmaron una carta abierta en la que afirmaban: «Mitigar el riesgo de extinción por la IA debería ser una prioridad global junto a otros riesgos a escala social como las pandemias y la guerra nuclear». Hinton y Bengio fueron los principales firmantes, seguidos del director general de OpenAI, Sam Altman, y los directores de otros importantes laboratorios de IA.

Hinton y Bengio, junto con académicos famosos como el premio Nobel Daniel Kahneman y el autor de Sapiens Yuval Noah Harari, fueron los más destacados autores de un documento de posición en el que se advertía del riesgo de «una pérdida irreversible del control humano» sobre los sistemas autónomos de IA.

LeCun, que dirige AI en Meta, está de acuerdo en que la IA de nivel humano está por llegar, pero dijo en un debate público contra Bengio sobre la extinción de la IA: «Si es peligrosa, no la construiremos».

El aprendizaje profundo impulsa los sistemas de IA más avanzados del mundo, desde el modelo de plegado de proteínas de DeepMind hasta grandes modelos lingüísticos (LLM) como ChatGPT de OpenAI. Nadie entiende realmente cómo funcionan los sistemas de aprendizaje profundo, pero su rendimiento no ha dejado de mejorar. Estos sistemas no están diseñados para funcionar de acuerdo con un conjunto de principios bien entendidos, sino que se «entrenan» para analizar patrones en grandes conjuntos de datos y, como consecuencia, surgen comportamientos complejos, como la comprensión del lenguaje. Connor Leahy, desarrollador de IA, me dijo: «Es más como si estuviéramos pinchando algo en una placa de Petri» que escribiendo un código. El documento de posición antes citado advierte que «nadie sabe actualmente cómo alinear de forma fiable el comportamiento de la IA con valores complejos».

A pesar de toda esta incertidumbre, las empresas de IA se ven inmersas en una carrera por hacer estos sistemas tan potentes como sea posible, sin un plan viable para entender cómo funcionan realmente las cosas que están creando, todo ello mientras recortan inversiones en seguridad para ganar más cuota de mercado. La inteligencia general artificial (IGA) es el santo grial por el que trabajan explícitamente los principales laboratorios de IA. La IGA se define a menudo como un sistema que es al menos tan bueno como los humanos en casi cualquier tarea intelectual. También es lo que Bengio y Hinton creen que podría llevar al fin de la humanidad.

Por extraño que parezca, muchas de las personas que trabajan activamente en el avance de las capacidades de la IA creen que existe una posibilidad significativa de que esto acabe provocando el apocalipsis. Una encuesta realizada en 2022 entre investigadores de aprendizaje automático reveló que casi la mitad de ellos pensaba que había al menos un 10% de posibilidades de que la IA avanzada condujera a la «extinción humana o a una pérdida de poder similar, permanente y grave» de la humanidad. Apenas unos meses antes de cofundar OpenAI, Altman dijo: «Lo más probable es que la IA conduzca al fin del mundo, pero mientras tanto, habrá grandes empresas».

La opinión pública sobre la IA se ha agriado, sobre todo en el año transcurrido desde la publicación de ChatGPT. En todas las encuestas de 2023, excepto en una, más estadounidenses pensaban que la IA podría suponer una amenaza existencial para la humanidad. En las raras ocasiones en las que los encuestadores le preguntaron a la gente si querían una IA de nivel humano o superior, una gran mayoría de los encuestados en Estados Unidos y el Reino Unido dijo que no.

Hasta ahora, cuando los socialistas se pronunciaron sobre la IA, fue para destacar la discriminación que conlleva o para advertir sobre el impacto potencialmente negativo de la automatización en un mundo de sindicatos débiles y capitalistas poderosos. Pero la izquierda guardó un llamativo silencio sobre el escenario de pesadilla de Hinton y Bengio: que la IA avanzada podría matarnos a todos.

Capacidades preocupantes

Aunque gran parte de la atención de la comunidad de riesgo x se centra en la idea de que la humanidad podría llegar a perder el control de la IA, a muchos también les preocupa que sistemas menos capaces le den poder a malos actores en plazos muy cortos.

Afortunadamente, es difícil fabricar un arma biológica. Pero eso podría cambiar pronto. Anthropic, un importante laboratorio de IA fundado por antiguos empleados de OpenAI que trabajan en seguridad, colaboró recientemente con expertos en bioseguridad para comprobar hasta qué punto un modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés) podría ayudar a un aspirante a bioterrorista. En su comparecencia ante un subcomité del Senado en julio, el director general de Anthropic, Dario Amodei, informó de que ciertos pasos en la producción de armas biológicas no se pueden encontrar en los libros de texto ni en los motores de búsqueda, pero que «las herramientas de IA actuales pueden completar algunos de estos pasos, aunque de forma incompleta», y que «una extrapolación directa de los sistemas actuales hasta los que esperamos ver en dos o tres años sugiere un riesgo sustancial de que los futuros sistemas de IA sean capaces de completar todas las piezas que faltan».

En octubre, New Scientist informó de que Ucrania hizo el primer uso en el campo de batalla de armas autónomas letales (LAW), literalmente robots asesinos. Estados Unidos, China e Israel están desarrollando sus propias LAW. Rusia se ha unido a Estados Unidos e Israel en su oposición a una nueva ley internacional sobre las LAW.

Sin embargo, la idea más amplia de que la IA plantea un riesgo existencial tiene muchos detractores, y el agitado discurso sobre la IA es difícil de analizar: personas con las mismas credenciales hacen afirmaciones opuestas sobre si el riesgo x de la IA es real, y los capitalistas de riesgo están firmando cartas abiertas con referentes éticos progresistas de la IA. Y aunque la idea del riesgo x parece estar ganando terreno más rápidamente, parece que una publicación importante difunde cada semana un ensayo en el que se argumenta que el riesgo x distrae de los daños existentes. Mientras tanto, se dedican silenciosamente más inmensas sumas de dinero y de recursos humanos a hacer más potentes los sistemas de IA que a hacerlos más seguros o menos sesgados.

Algunos no temen el escenario de «ciencia ficción» en el que los modelos de IA sean tan capaces que nos arrebaten el control, sino aquél en el que confiemos demasiadas responsabilidades a sistemas sesgados, frágiles y confabulados, abriendo una caja de Pandora más pedestre, llena de problemas horribles pero familiares que aumentan con los algoritmos que los causan. Esta comunidad de investigadores y defensores —a menudo denominada «ética de la IA»— tiende a centrarse en los daños inmediatos causados por la IA, explorando soluciones que implican la responsabilidad de los modelos, la transparencia algorítmica y la equidad del aprendizaje automático.

Hablé con algunas de las voces más destacadas de la comunidad ética de la IA, como las informáticas Joy Buolamwini, de treinta y tres años, e Inioluwa Deborah Raji, de veintisiete. Cada una de ellas ha llevado a cabo una investigación pionera sobre los daños existentes causados por modelos de IA discriminatorios y defectuosos cuyas repercusiones, en su opinión, se ocultan un día y se exageran al siguiente. Como muchos otros investigadores de la ética de la IA, su trabajo combina ciencia y activismo.

Las personas con las que hablé dentro del mundo de la ética de la IA expresaron en gran medida la opinión de que, en lugar de enfrentarse a retos fundamentalmente nuevos como la perspectiva de un desempleo tecnológico total o la extinción, el futuro de la IA se parece más a una intensificación de la discriminación racial en lo que hace a las decisiones sobre encarcelamiento y préstamos, la «almacenización» de los lugares de trabajo por parte de Amazon, los ataques a los trabajadores pobres y al fortalecimiento de una élite tecnológica aún más arraigada y enriquecida.

Un argumento frecuente de este sector masivo es que la narrativa de la extinción exagera las capacidades de los productos de las grandes tecnológicas y «distrae» peligrosamente de los daños inmediatos de la IA. En el mejor de los casos, dicen, entretenerse con la idea del riesgo x es una pérdida de tiempo y dinero. En el peor, conduce a ideas políticas desastrosas.

Pero muchos de los que creen en el riesgo x subrayan que las posturas «la IA causa daños ahora» y «la IA podría acabar con el mundo» no son mutuamente excluyentes. Algunos investigadores han intentado explícitamente tender un puente entre quienes se centran en los daños existentes y quienes lo hacen en la extinción, destacando posibles objetivos políticos compartidos. El profesor de IA Sam Bowman, otra persona cuyo nombre figura en la carta sobre la extinción, ha realizado investigaciones para revelar y reducir el sesgo algorítmico y revisa las presentaciones a la principal conferencia sobre ética de la IA. Al mismo tiempo, Bowman ha pedido que más investigadores trabajen en la seguridad de la IA y ha escrito sobre los «peligros de infravalorar» las capacidades de los LLM.

La comunidad del riesgo x suele invocar la defensa del clima como analogía, preguntándose si centrarse en reducir los daños a largo plazo del cambio climático distrae peligrosamente de los daños a corto plazo de la contaminación atmosférica y los vertidos de petróleo.

Pero, como ellos mismos admiten, no todos los partidarios del riesgo x han sido tan diplomáticos. En un hilo de agosto de 2022 sobre decisiones controvertidas en la política de IA, el cofundador de Anthropic, Jack Clark, tuiteó que «algunas personas que trabajan en políticas a largo plazo en torno a las IGA tienden a ignorar, minimizar o simplemente no considerar los problemas o daños inmediatos del despliegue de la IA».

«La IA salvará el mundo»

Aun tercer bando le preocupa que, en lo que respecta a la IA, en realidad no nos estemos moviendo lo suficientemente rápido. Destacados capitalistas como el multimillonario Marc Andreessen coinciden con los partidarios de la seguridad en que la inteligencia artificial es posible, pero sostienen que, en lugar de matarnos a todos, dará paso a una edad de oro indefinida de abundancia radical y tecnologías al borde de la magia. Este grupo, procedente en gran medida de Silicon Valley y reconocido partidario de la IA, tiende a preocuparse mucho más de que una reacción exagerada a la regulación de la IA asfixie en su cuna a una tecnología transformadora y salvadora del mundo, condenando a la humanidad al estancamiento económico.

Algunos tecnooptimistas imaginan una utopía impulsada por la IA que hace que Karl Marx parezca poco imaginativo. The Guardian publicó recientemente un minidocumental con entrevistas de 2016 a 2019 con el científico jefe de OpenAI, Ilya Sutskever, quien se atreve a afirmar: «La IA resolverá todos los problemas que tenemos hoy. Solucionará el empleo, las enfermedades y la pobreza. Pero también creará nuevos problemas».

Andreessen está con Sutskever, hasta un «pero». En junio, Andreessen publicó un ensayo titulado «Why AI Will Save the World» («Por qué la IA salvará el mundo»), en el que explica cómo la IA hará que «todo lo que nos importa sea mejor», siempre que no lo regulemos hasta la muerte. En octubre del año pasado siguió con su «Manifiesto tecnooptimista», en el que, además de elogiar a un fundador del fascismo italiano, definía como enemigos del progreso a ideas como la de «riesgo existencial», «sostenibilidad», «confianza y seguridad» y «ética tecnológica». Andreessen no se anda con rodeos y escribe: «Creemos que cualquier desaceleración de la IA costará vidas. Las muertes evitables por la IA que se impidió que existiera [son] una forma de asesinato».

Andreessen, junto con el «bro farmacéutico» Martin Shkreli, es quizás el defensor más famoso del «aceleracionismo efectivo», también llamado «E/acc», una red mayoritariamente online que mezcla el cientificismo cultista, el hipercapitalismo y la falacia naturalista. E/acc se basa en la teoría del aceleracionismo del escritor reaccionario Nick Land, que sostiene que necesitamos intensificar el capitalismo para propulsarnos hacia un futuro posthumano impulsado por la IA. E/acc toma esta idea y le añade una capa de física y memes, generalizándola para cierto subconjunto de élites de Silicon Valley. Se formó como reacción a los llamamientos de los «decels» a ralentizar la IA, procedentes en gran medida de la comunidad del altruismo efectivo (EA), de la que E/acc toma su nombre.

El impulsor de la IA Richard Sutton —el científico dispuesto a despedirse de los «humanos de carne»— trabaja ahora en Keen IGA, una nueva start-up de John Carmack, el legendario programador detrás del videojuego de los 90 Doom. La misión de la empresa es, según Carmack: «AGI or bust, by way of Mad Science» («IGA o la quiebra, por la vía de la ciencia loca»).

El capitalismo empeora las cosas

En febrero, Sam Altman tuiteó que Eliezer Yudkowsky podría llegar a «merecer el Premio Nobel de la Paz». ¿Por qué? Porque Altman pensaba que el investigador autodidacta y autor de ficciones de fans de Harry Potter había hecho «más por acelerar la IGA que nadie». Altman citó cómo Yudkowsky ayudó a DeepMind a asegurar una financiación inicial fundamental de Peter Thiel, así como el papel «crítico» de Yudkowsky «en la decisión de iniciar OpenAI».

Yudkowsky era un aceleracionista incluso antes de que se acuñara el término. A los diecisiete años, harto de las dictaduras, del hambre en el mundo e incluso de la propia muerte, publicó un manifiesto en el que pedía la creación de una superinteligencia digital para «resolver» todos los problemas de la humanidad. Durante la siguiente década de su vida, su «tecnofilia» se convirtió en fobia, y en 2008 escribió sobre su historia de conversión, admitiendo que «decir ¡casi destruyo el mundo! habría sido demasiado orgulloso».

Yudkowsky es ahora famoso por popularizar la idea de que la AGI podría matar a todo el mundo, y se ha convertido en el más catastrofista de los catastrofistas de la IA. Una generación de técnicos creció leyendo las entradas del blog de Yudkowsky y muchos de ellos (incluyendo a Altman, quizá el más importante) interiorizaron más sus argumentos de que la AGI sería lo más importante de la historia que sus creencias sobre lo difícil que sería conseguir que no nos matara. Durante nuestra conversación, Yudkowsky comparó la IA con una máquina que «imprime oro», hasta que «incendia la atmósfera».

Y tanto si incendia la atmósfera como si no, esa máquina está imprimiendo oro más rápido que nunca. El auge de la «IA generativa» está haciendo a algunas personas muy, muy ricas. Desde 2019, Microsoft invertió un acumulado de 13.000 millones de dólares en OpenAI. Animado por el éxito salvaje de ChatGPT, Microsoft ganó casi 1 billón de dólares en valor en el año siguiente al lanzamiento del producto. En la actualidad, esta empresa de casi cincuenta años vale más que Google y Meta juntos.

Los actores que maximizan los beneficios seguirán avanzando a toda velocidad, externalizando riesgos que el resto de nosotros nunca aceptó asumir, en busca de riquezas o simplemente de la gloria de crear una superinteligencia digital, lo que que Sutton tuiteó que «será el mayor logro intelectual de todos los tiempos… cuyo significado va más allá de la humanidad, más allá de la vida, más allá del bien y del mal». Es probable que las presiones del mercado empujen a las empresas a transferir cada vez más poder y autonomía a los sistemas de IA a medida que mejoren.

Un investigador de IA de Google me escribió: «Creo que las grandes empresas tienen tanta prisa por ganar cuota de mercado que la seguridad [de la IA] se ve como una especie de distracción tonta». Bengio me dijo que ve «una peligrosa carrera entre empresas» que podría empeorar aún más.

Al entrar en pánico como respuesta al motor de búsqueda Bing, impulsado por OpenAI, Google declaró un «código rojo», «recalibró» su apetito de riesgo y se apresuró a lanzar Bard, su LLM, a pesar de la oposición del personal. En discusiones internas, los empleados calificaron a Bard como «mentiroso patológico» y «deleznable». Google lo publicó de todos modos.

Dan Hendrycks, director del Centro para la Seguridad de la IA, dijo que «tomar atajos en materia de seguridad (…) es en gran medida lo que impulsa el desarrollo de la IA (…). En realidad, no creo que, en presencia de estas intensas presiones competitivas, las intenciones importen especialmente». Irónicamente, Hendrycks también es el asesor de seguridad de xAI, la última empresa de Elon Musk.

Los tres principales laboratorios de inteligencia artificial empezaron como organizaciones independientes, pero ahora son filiales de gigantes tecnológicos (Google DeepMind) o han recibido inversiones por valor de miles de millones de dólares de empresas multimillonarias, por lo que sus misiones altruistas pueden quedar subsumidas por la búsqueda incesante de valor para los accionistas (Anthropic ha recibido hasta 6.000 millones de dólares de Google y Amazon juntos, y Microsoft, con 13.000 millones, compró el 49% de la rama lucrativa de OpenAI). The New York Times informó recientemente que los fundadores de DeepMind estaban «cada vez más preocupados por lo que Google haría con sus inventos». En 2017, intentaron separarse de la empresa. Google respondió aumentando los salarios y los paquetes de premios en acciones de los fundadores de DeepMind y su personal. Ellos se quedaron».

Un desarrollador de uno de los principales laboratorios me escribió en octubre que, dado que la dirección de estos laboratorios suele creer de verdad que la IA obviará la necesidad de dinero, la búsqueda de beneficios es «en gran medida instrumental» a efectos de recaudación de fondos. Pero «entonces los inversores (ya sea una empresa de capital riesgo o Microsoft) ejercen presión para la búsqueda de beneficios».

Entre 2020 y 2022, más de 600.000 millones de dólares en inversión corporativa fluyeron hacia la industria, y una sola conferencia de IA en 2021 acogió a casi treinta mil investigadores. Al mismo tiempo, una estimación de septiembre de 2022 encontró solo cuatrocientos investigadores de seguridad de IA a tiempo completo, y la principal conferencia de ética de IA tuvo menos de novecientos asistentes en 2023.

Tal y como el software «se comió el mundo», cabe esperar que la IA muestre una dinámica similar, en la que el ganador se lo lleva todo, lo que conducirá a concentraciones aún mayores de riqueza y poder. Altman predijo que el «costo de la inteligencia» caerá hasta casi cero como resultado de la IA, y en 2021 escribió que «aún más poder se desplazará del trabajo al capital». Y continuó: «Si las políticas públicas no se adaptan en consecuencia, la mayoría de la gente acabará peor que hoy». También Jack Clark escribió que «el capitalismo de economía de escala es, por naturaleza, antidemocrático, y las IA con gastos de capital intensivos son, por tanto, antidemocráticas».

Markus Anderljung es el jefe de políticas de GovAI, un destacado grupo de reflexión sobre la seguridad de la IA, y el primer autor de un influyente libro blanco centrado en la regulación de la «IA de frontera». Me escribió y me dijo: «Si te preocupa el capitalismo en su forma actual, debería preocuparte aún más un mundo en el que enormes partes de la economía estén dirigidas por sistemas de IA explícitamente entrenados para maximizar los beneficios».

Sam Altman, alrededor de junio de 2021, estuvo de acuerdo y le dijo a Ezra Klein sobre la filosofía fundacional de OpenAI: «Uno de los incentivos que nos ponía muy nerviosos era el incentivo del beneficio ilimitado, donde más es siempre mejor. (…) Y creo que con estos sistemas de IA de propósito general tan potentes, en particular, no se quiere un incentivo para maximizar el beneficio indefinidamente».

En un sorprendente movimiento que llegó a ser ampliamente visto como el mayor punto de inflamación en el debate sobre la seguridad de la IA hasta el momento, la junta sin ánimo de lucro de OpenAI despidió al CEO Sam Altman el 17 de noviembre de 2023. La junta, según los inusuales estatutos de OpenAI, tiene un deber fiduciario con la «humanidad», más que con los inversores o los empleados. Como justificación, la junta citó vagamente la falta de franqueza de Altman, pero luego, irónicamente, guardó silencio sobre su decisión.

Alrededor de las 3 de la madrugada del lunes siguiente, Microsoft anunció que Altman pondría en marcha un laboratorio de investigación avanzada con puestos para todos los empleados de OpenAI, la gran mayoría de los cuales firmaron una carta amenazando con aceptar la oferta de Microsoft si Altman no era readmitido. (Aunque parece ser un CEO popular, cabe señalar que el despido interrumpió una venta prevista de acciones de OpenAI propiedad de los empleados a una valoración de la empresa de 86.000 millones de dólares). Poco después de la 1 de la madrugada del miércoles, OpenAI anunció el regreso de Altman como consejero delegado y dos nuevos miembros del consejo: el ex presidente del consejo de Twitter y el ex secretario del Tesoro Larry Summers.

En menos de una semana, los ejecutivos de OpenAI y Altman habían colaborado con Microsoft y el personal de la empresa para lograr su regreso y la destitución de la mayoría de los miembros del consejo que habían provocado su despido. La primera preferencia de Microsoft era volver a tener a Altman como CEO. La inesperada destitución hizo caer inicialmente las acciones del gigante tecnológico un 5% (140.000 millones de dólares), y el anuncio de la reincorporación de Altman las llevó a un máximo histórico. Reacio a ser sorprendido de nuevo, Microsoft ocupa ahora un puesto sin derecho a voto en el consejo de administración de la organización sin ánimo de lucro.

Inmediatamente después del despido de Altman, X explotó, y surgió una narrativa alimentada en gran medida por rumores en línea y artículos de fuentes anónimas que afirmaban que los altruistas eficaces centrados en la seguridad de la junta habían despedido a Altman por su agresiva comercialización de los modelos de OpenAI a expensas de la seguridad. Capturando el tenor de la abrumadora respuesta e/acc, el entonces fundador seudónimo @BasedBeffJezos publicó: «Los EA son básicamente terroristas. Destruir 80B de valor de la noche a la mañana es un acto de terrorismo».

La imagen que surgió de la información posterior fue que una desconfianza fundamental hacia Altman fue lo que impulsó la decisión de la junta y no las preocupaciones inmediatas sobre la seguridad de la IA. The Wall Street Journal descubrió que «no hubo un incidente que les llevara a tomar la decisión de expulsar a Altman, sino una lenta y constante erosión de la confianza a lo largo del tiempo que les hizo sentirse cada vez más incómodos».

Al parecer, semanas antes del despido, Altman utilizó tácticas deshonestas para tratar de destituir a Helen Toner, miembro de la junta directiva, por un artículo académico del que era coautora y que, en su opinión, criticaba el compromiso de OpenAI con la seguridad de la IA. En el artículo, Toner, una investigadora de la gobernanza de la IA alineada con EA, elogiaba a Anthropic por evitar «el tipo de recortes frenéticos que el lanzamiento de ChatGPT parecía espolear».

The New Yorker informó de que «algunos de los seis miembros del consejo encontraron a Altman manipulador y conspirador». Días después del despido, un investigador de seguridad de IA de DeepMind que solía trabajar para OpenAI escribió que Altman «me mintió en varias ocasiones» y «fue engañoso, manipulador y peor con los demás», una evaluación de la que se hizo eco un reciente reportaje de Time.

Esta no fue la primera vez que Altman fue despedido. En 2019, el fundador de Y Combinator, Paul Graham, apartó a Altman de la dirección de la incubadora ante la preocupación de que estuviera priorizando sus propios intereses sobre los de la organización. Graham dijo previamente, «Sam es extremadamente bueno para hacerse poderoso».

El extraño modelo de gobernanza de OpenAI se estableció específicamente para evitar la influencia corruptora del afán de lucro, pero como bien proclamó The Atlantic, «el dinero siempre gana». Y se está destinando más dinero que nunca al avance de las capacidades de la IA.

A toda velocidad

El progreso reciente de la IA se ha visto impulsado por la culminación de varias tendencias de décadas de duración: el aumento de la cantidad de potencia de cálculo (denominada «computación») y de los datos utilizados para entrenar los modelos de IA, que a su vez se han visto amplificados por mejoras significativas en la eficiencia algorítmica. Desde 2010, la cantidad de computación utilizada para entrenar modelos de IA de multiplicó aproximadamente por cien millones. La mayoría de los avances que vemos ahora son producto de lo que en su momento era un campo mucho más pequeño y pobre.

Y aunque en el último año se habló más de la cuenta de la IA, la confluencia de estas tres tendencias dió lugar a resultados cuantificables. El tiempo que tardan los sistemas de IA en alcanzar un rendimiento similar al humano en muchas tareas de referencia se redujo drásticamente en la última década.

Es posible, por supuesto, que el aumento de las capacidades de la IA se tope con un muro. Es posible que los investigadores se queden sin buenos datos que utilizar. La ley de Moore, según la cual el número de transistores de un microchip se duplica cada dos años, acabará pasando a la historia. Los acontecimientos políticos podrían perturbar la fabricación y las cadenas de suministro, aumentando los costes de computación. Y puede que la ampliación de los sistemas ya no conduzca a un mayor rendimiento.

Pero la realidad es que nadie conoce los verdaderos límites de los enfoques actuales. Este año resurgió en Twitter un fragmento de una entrevista de enero de 2022 a Yann LeCun, en la que dijo: «No creo que podamos entrenar a una máquina para que sea inteligente exclusivamente a partir de texto, porque creo que la cantidad de información sobre el mundo que contiene el texto es ínfima comparada con lo que necesitamos saber». Para ilustrarlo, puso un ejemplo: «Tomo un objeto, lo pongo sobre la mesa y empujo la mesa. Para ti es completamente obvio que el objeto se empujaría con la mesa». Sin embargo, con «un modelo basado en texto, si entrenas a una máquina, por muy potente que sea, tu GPT-5000 (…), nunca va a aprender esto». Pero si le das a ChatGPT-3.5 ese ejemplo, te escupe al instante la respuesta correcta.

En una entrevista publicada cuatro días antes de su despido, Altman dijo: «Hasta que no entrenemos ese modelo [GPT-5], es como un divertido juego de adivinanzas para nosotros. Intentamos mejorar, porque creo que predecir las capacidades es importante desde el punto de vista de la seguridad. Pero no puedo decirte exactamente lo que va a hacer, que la GPT-4 no haya hecho».

La historia está plagada de malas predicciones sobre el ritmo de la innovación. Un editorial de The New York Times afirmaba que se tardaría «entre un millón y diez millones de años» en desarrollar una máquina voladora: sesenta y nueve días antes de que los hermanos Wright volaran por primera vez. En 1933, Ernest Rutherford, el «padre de la física nuclear», descartó con seguridad la posibilidad de una reacción en cadena inducida por neutrones, lo que inspiró al físico Leo Szilard a plantear la hipótesis de una solución funcional al día siguiente, una solución que acabó siendo fundamental para la creación de la bomba atómica.

Una conclusión que parece difícil de evitar es que, recientemente, las personas que mejor construyen sistemas de IA creen que la IGA es posible e inminente. Tal vez los dos laboratorios líderes en IA, OpenAI y DeepMind, hayan estado trabajando hacia la IGA desde su creación, habiendo empezado en un momento en el que admitir que creías que era posible de lograr a la brevedad podía hacer estallar en carcajadas a todos (Ilya Sutskever lideró un cántico de «Siente la IGA» en la fiesta de OpenAI de 2022).

Trabajadores perfectos

Los empresarios ya utilizan la IA para vigilar, controlar y explotar a los trabajadores. Pero el verdadero sueño es dejar a los humanos fuera de juego. Después de todo, como escribió Marx: «La máquina es un medio para producir plusvalía».

El investigador de riesgos de IA de Open Philanthropy (OP), Ajeya Cotra, me escribió que «el punto final lógico de una economía capitalista o de mercado de máxima eficiencia» no involucraría a los humanos porque «los humanos son criaturas muy ineficientes para hacer dinero». Valoramos todas estas emociones «comercialmente improductivas», escribe, «así que si acabamos pasándolo bien y gustando del resultado, será porque empezamos teniendo el poder y moldeamos el sistema para que se acomodara a los valores humanos».

OP es una fundación inspirada en EA y financiada por el cofundador de Facebook Dustin Moskovitz. Es la principal financiadora de organizaciones dedicadas a la seguridad de la IA, muchas de las cuales se mencionan en este artículo. OP también otorgó 30 millones de dólares a OpenAI para apoyar el trabajo de seguridad de IA dos años antes de que el laboratorio escindiera un brazo con fines de lucro en 2019. Anteriormente recibí una subvención única para apoyar el trabajo de publicación en New York Focus, una organización sin fines de lucro de noticias de investigación que cubre la política de Nueva York, de EA Funds, que a su vez recibe fondos de OP. Después de conocer a EA en 2017, comencé a donar entre el 10% y el 20% de mis ingresos a organizaciones sin ánimo de lucro de salud global y contra la agricultura industrial, me ofrecí como organizador de grupos locales y trabajé en una organización fines de lucro contra la pobreza global. EA fue una de las primeras comunidades en comprometerse seriamente con el riesgo existencial de la IA, pero miré a la gente de la IA con cierta cautela, dada la incertidumbre del problema y el inmenso sufrimiento evitable que está sucediendo ahora.

Una inteligencia artificial obediente sería el trabajador con el que los capitalistas sólo pueden soñar: incansable, motivado y sin la necesidad de ir al baño. A los directivos, desde Frederick Taylor hasta Jeff Bezos, les molestan las diversas formas en que los seres humanos no están optimizados para la producción y, por lo tanto, para los resultados de sus empleadores. Incluso antes de los días de la gestión científica de Taylor, el capitalismo industrial trató de hacer que los trabajadores se parezcan más a las máquinas con las que trabajan y por las que son sustituidos cada vez más. Como observó clarividentemente El Manifiesto Comunista, el uso extensivo de maquinaria por parte de los capitalistas convierte al trabajador en «un apéndice de la máquina».

Pero según la comunidad de seguridad de la IA, las mismas capacidades inhumanas que harían salivar a Bezos también convierten a la IGA en un peligro mortal para los humanos.

Explosión: El caso de la extinción

El argumento común del riesgo x es el siguiente: una vez que los sistemas de IA alcancen un cierto umbral, serán capaces de auto-mejorarse recursivamente, dando lugar a una «explosión de inteligencia». Si un nuevo sistema de IA se vuelve lo suficientemente inteligente —o simplemente aumenta de escala—, será capaz de desempoderar permanentemente a la humanidad.

El documento de octubre «Managing AI Risks» afirma:

No hay ninguna razón fundamental por la que el progreso de la IA se ralentizaría o se detendría cuando alcanzara capacidades de nivel humano (…). En comparación con los humanos, los sistemas de IA pueden actuar más rápido, absorber más conocimientos y comunicarse con un ancho de banda mucho mayor. Además, pueden escalarse para utilizar inmensos recursos computacionales y pueden reproducirse por millones.

Estas características ya han permitido desarrollar capacidades sobrehumanas: Los LLM pueden «leer» gran parte de Internet en meses, y AlphaFold de DeepMind puede realizar años de trabajo de laboratorio humano en pocos días.

He aquí una versión estilizada de la idea de que el crecimiento de la «población» estimula una explosión de inteligencia: si los sistemas de IA rivalizan con los científicos humanos en investigación y desarrollo, los sistemas proliferarán rápidamente, dando lugar al equivalente de un enorme número de nuevos trabajadores altamente productivos que se incorporan a la economía. Dicho de otro modo, si la GPT-7 puede realizar la mayoría de las tareas de un trabajador humano y sólo cuesta unos pocos dólares poner a trabajar al modelo entrenado en las tareas de un día, cada instancia del modelo sería tremendamente rentable, iniciando un bucle de retroalimentación positiva. Esto podría dar lugar a una «población» virtual de miles de millones o más de trabajadores digitales, cada uno de los cuales valdría mucho más que el costo de la energía necesaria para su funcionamiento. Sutskever cree probable que «toda la superficie de la Tierra esté cubierta de paneles solares y centros de datos».

Estos trabajadores digitales podrían mejorar nuestros diseños de IA y abrirse camino hasta crear sistemas «superinteligentes», cuyas capacidades, según especuló Alan Turing en 1951, pronto «superarían nuestros débiles poderes». Y, como argumentan algunos defensores de la seguridad de la IA, un modelo individual de IA no tiene por qué ser superinteligente para suponer una amenaza existencial; basta con que haya suficientes copias del mismo. Muchas de mis fuentes compararon las corporaciones con superinteligencias, cuyas capacidades superan claramente las de los miembros que las componen.

La objeción más común es: «Sólo desconéctalo». Pero una vez que un modelo de IA sea lo suficientemente potente como para amenazar a la humanidad, probablemente será lo más valioso que exista. Puede que resulte más fácil «desenchufar» la Bolsa de Nueva York o Amazon Web Services.

Puede que una superinteligencia perezosa no suponga un gran riesgo, y escépticos como el director general del Allen Institute for AI, Oren Etzioni, la profesora de complejidad Melanie Mitchell y la directora gerente del AI Now Institute, Sarah Myers West, me dijeron que no vieron pruebas convincentes de que los sistemas de IA sean cada vez más autónomos. Dario Amodei, de Anthropic, parece estar de acuerdo en que los sistemas actuales no muestran un nivel de agencia preocupante. Sin embargo, un sistema completamente pasivo pero suficientemente potente manejado por un mal actor es suficiente para preocupar a gente como Bengio.

Además, tanto académicos como industriales están aumentando sus esfuerzos para hacer que los modelos de IA sean más autónomos. Días antes de su despido, Altman declaró al Financial Times: «Haremos que estos agentes sean cada vez más potentes. . . y las acciones serán cada vez más complejas a partir de ahora (…). La cantidad de valor empresarial que se obtendrá de poder hacer eso en cada categoría, creo que es bastante buena.»

¿Qué hay detrás de todo esto?

El temor que quita el sueño a muchas personas de riesgo x no es que una IA avanzada «despierte», «se vuelva malvada» y decida matar a todo el mundo por maldad, sino que llegue a vernos como un obstáculo para cualquier objetivo que tenga. En su último libro, Breves respuestas a las grandes preguntas, Stephen Hawking articuló esto diciendo: «Probablemente no seas un malvado que odia a las hormigas y las pisa por maldad, pero si estás a cargo de un proyecto hidroeléctrico de energía verde y hay un hormiguero en la región que va a ser inundada, peor para las hormigas».

Los comportamientos inesperados e indeseables pueden ser el resultado de objetivos simples, ya sea el beneficio o la función de recompensa de una IA. En un mercado «libre», la búsqueda de beneficios conduce a monopolios, esquemas de marketing multinivel, aire y ríos envenenados e innumerables perjuicios.

Hay abundantes ejemplos de sistemas de IA que muestran comportamientos sorprendentes y no deseados. Un programa destinado a eliminar errores de clasificación en una lista la borraba por completo. Un investigador se sorprendió al descubrir que un modelo de IA «se hacía el muerto» para evitar ser identificado en las pruebas de seguridad.

Sin embargo, otros ven una conspiración de las grandes tecnológicas detrás de estas preocupaciones. Algunas personas centradas en los daños inmediatos de la IA sostienen que la industria está promoviendo activamente la idea de que sus productos podrían acabar con el mundo, como Myers West, del AI Now Institute, quien afirma que «ve las narrativas en torno al llamado riesgo existencial como una jugada para concentrar la atención, con el fin de garantizar que no haya un movimiento significativo en el momento presente». Por extraño que parezca, Yann LeCun y el científico jefe de IA de Baidu, Andrew Ng, afirman estar de acuerdo.

Cuando le planteo la idea a los creyentes del riesgo x, suelen responder con una mezcla de confusión y exasperación. Ajeya Cotra, de OP, respondió: «Me gustaría que preocuparse por el riesgo x no estuviera tan asociado a la industria, porque creo que en el fondo es una creencia muy contraria a la industria (…). Si las empresas están construyendo cosas que van a matarnos a todos, eso es realmente malo, y deberían ser restringidas muy estrictamente por la ley».

Markus Anderljung, de GovAI, calificó el temor a la captura reguladora de «reacción natural de la gente», pero subrayó que sus políticas preferidas podrían perjudicar a los principales actores del sector.

Una fuente comprensible de sospechas es que Sam Altman es ahora una de las personas más asociadas con la idea del riesgo existencial, pero su empresa hizo más que ninguna otra por avanzar en la frontera de la IA de propósito general.

Además, a medida que OpenAI se acercaba a la rentabilidad y Altman al poder, el consejero delegado cambió su tono público. En una sesión de preguntas y respuestas de enero de 2023, cuando se le preguntó por su peor escenario para la IA, respondió: «Se apagan las luces para todos nosotros». Pero al responder a una pregunta similar bajo juramento ante senadores en mayo, Altman no menciona la extinción. Y, quizá en su última entrevista antes de ser despedido, Altman dijo: «En realidad, no creo que todos vayamos a extinguirnos. Creo que va a ser genial. Creo que vamos hacia el mejor mundo de la historia».

En mayo, Altman imploró al Congreso que regulara la industria de la IA, pero una investigación realizada en noviembre descubrió que la empresa cuasi matriz de OpenAI, Microsoft, influyó en la presión, a la postre infructuosa, para excluir los «modelos fundacionales» como ChatGPT de la regulación de la próxima Ley de IA de la UE. Altman, por su parte, ejerció mucha presión en la UE e incluso amenazó con retirarse de la región si la normativa se volvía demasiado onerosa (amenazas de la que se retractó rápidamente). Días antes de su destitución, Altman afirmó en un panel de directivos celebrado en San Francisco que «los modelos actuales están bien. No necesitamos una reglamentación estricta. Probablemente ni siquiera en las próximas dos generaciones».

La reciente orden ejecutiva «arrolladora» del Presidente Joe Biden sobre IA parece estar de acuerdo: sus requisitos de intercambio de información para pruebas de seguridad sólo afectan a los modelos más grandes que probablemente se hayan entrenado hasta ahora. Myers West calificó este tipo de «umbrales de escala» de «recorte masivo». Anderljung me escribió que la regulación debe escalar con las capacidades y el uso de un sistema, y dijo que «le gustaría cierta regulación de los modelos actuales más capaces y ampliamente utilizados», pero cree que «será mucho más viable políticamente imponer requisitos a los sistemas que aún están por desarrollar».

Inioluwa Deborah Raji aventuró que si los gigantes tecnológicos «saben que tienen que ser los malos en alguna dimensión… preferirían que fuera abstracta y a largo plazo en el tiempo». Esto me suena mucho más plausible que la idea de que las grandes tecnológicas quieran realmente promover la idea de que sus productos tienen una posibilidad decente de matar literalmente a todo el mundo.

Casi setecientas personas firmaron la carta de extinción, la mayoría de ellas académicos. Sólo uno de ellos dirige una empresa que cotiza en bolsa: Moskovitz, fundador de OP, que también es cofundador y CEO de Asana, una aplicación de productividad. No había ningún empleado de Amazon, Apple, IBM ni de ninguna de las principales empresas de hardware de IA. Tampoco firmó ningún ejecutivo de Meta.

Si los responsables de las grandes empresas tecnológicas querían amplificar la narrativa de la extinción, ¿por qué no han añadido sus nombres a la lista?

¿Por qué construir la «Máquina de la Perdición»?

Si la IA realmente salva el mundo, quienquiera que la haya creado puede esperar ser alabado como un Julio César moderno. E incluso si no lo hace, el primero que construya «el último invento que el hombre jamás necesitará hacer» no tendrá que preocuparse por ser olvidado por la historia; a menos, por supuesto, que la historia termine abruptamente después de su invención.

Connor Leahy cree que, si seguimos por el camino actual, el fin de la historia llegará poco después de la llegada de la inteligencia artificial. Con su pelo alborotado y su barba desaliñada, probablemente parecería estar en casa llevando un cartel en el que se leyera «El fin está cerca», aunque eso no le impidió ser invitado a hablar ante la Cámara de los Lores británica o la CNN. Este director ejecutivo de Conjecture y cofundador de EleutherAI, un influyente colectivo de código abierto de veintiocho años, me contó que gran parte de la motivación para construir IA se reduce a: «’Oh, ¿estás construyendo la máquina de la perdición definitiva que te hace ganar miles de millones de dólares y también rey-emperador de la tierra o mata a todo el mundo?’ Sí, eso es como el sueño masculino. Tú dices: ‘Joder, sí. Soy el rey de la perdición’». Y continúa: «Pero lo entiendo. Esto tiene mucho que ver con la estética de Silicon Valley».

Leahy también transmitió algo que no sorprenderá a quienes hayan pasado mucho tiempo en la zona de la bahía o en ciertos rincones de Internet:

Hay empresarios y tecnólogos reales, completamente irresponsables, no elegidos, tecno-utópicos, que viven sobre todo en San Francisco y que están dispuestos a arriesgar la vida de usted, de sus hijos, de sus nietos y de toda la humanidad futura sólo porque podrían tener la oportunidad de vivir para siempre.

En marzo, el MIT Technology Review informó de que Altman «dice que vació su cuenta bancaria para financiar dos objetivos: energía ilimitada y vida prolongada».

Teniendo en cuenta todo esto, cabría esperar que la comunidad ética viera a la comunidad de la seguridad como un aliado natural en una lucha común para frenar a las élites tecnológicas que no rinden cuentas y que construyen unilateralmente productos peligrosos y dañinos. Y, como hemos visto antes, muchos defensores de la seguridad se acercaron a los especialistas en ética de la IA. También es raro que la gente de la comunidad del riesgo x ataque públicamente la ética de la IA (mientras que lo contrario… no es cierto), pero la realidad es que los defensores de la seguridad a veces fueron difíciles de digerir.

Los defensores de la ética de la IA, al igual que las personas a las que defienden, a menudo afirman sentirse marginados y apartados del poder real, librando una ardua batalla con las empresas tecnológicas que los ven como una forma de cubrirse las espaldas en lugar de como una verdadera prioridad. A favor de este sentimiento está el desmantelamiento de los equipos de ética de la IA en muchas grandes empresas tecnológicas en los últimos años (o días). Y, en una serie de casos, estas empresas tomaron represalias contra los denunciantes de ética y los organizadores sindicales.

Esto no implica necesariamente que estas empresas estén priorizando seriamente el riesgo x. El consejo de ética de Google DeepMind, que incluía a Larry Page y al destacado investigador de riesgo existencial Toby Ord, tuvo su primera reunión en 2015, pero nunca tuvo una segunda. Un investigador de IA de Google me escribió que «no hablan de riesgo a largo plazo (…) en la oficina», continuando: «Google está más centrado en la construcción de la tecnología y en la seguridad en el sentido de legalidad y ofensividad».

La ingeniera de software Timnit Gebru codirigió el equipo de IA ética de Google hasta que se vio obligada a abandonar la empresa a finales de 2020 tras una disputa sobre un borrador de documento, ahora una de las publicaciones de aprendizaje automático más famosas de la historia. En el documento «loros estocásticos», Gebru y sus coautores argumentan que los LLM dañan el medio ambiente, amplifican los sesgos sociales y usan estadísticas para coser «al azar» el lenguaje «sin ninguna referencia al significado».

Gebru, que no es fan de la comunidad de seguridad de la IA, pidió que se mejoren las protecciones de los denunciantes para los investigadores de IA, lo que también es una de las principales recomendaciones formuladas en el libro blanco de GovAI. Desde que Gebru fue expulsada de Google, casi 2.700 empleados firmaron una carta de solidaridad, pero el entonces googler Geoff Hinton no fue uno de ellos. Cuando le preguntaron en la CNN por qué no apoyaba a una compañera denunciante, Hinton respondió que las críticas de Gebru a la IA «eran preocupaciones bastante diferentes a las mías» que «no son tan existencialmente serias como la idea de que estas cosas se vuelvan más inteligentes que nosotros y tomen el control».

Raji me dijo que «muchos de los motivos de frustración y animosidad» entre los campos de la ética y la seguridad son que «un bando tiene mucho más dinero y poder que el otro», lo que «les permite impulsar su agenda de forma mucho más directa».

Según una estimación, la cantidad de dinero que se mueve en las nuevas empresas de seguridad de IA y las organizaciones sin fines de lucro en 2022 se cuadruplicó desde 2020, alcanzando 144 millones de dólares. Es difícil encontrar una cifra equivalente para la comunidad de ética de IA. Sin embargo, la sociedad civil de ambos campos se ve eclipsada por el gasto de la industria. Solo en el primer trimestre de 2023, OpenSecrets informó de que se gastaron unos 94 millones de dólares en grupos de presión sobre IA en Estados Unidos. LobbyControl calculó que las empresas tecnológicas gastaron 113 millones de euros este año en presionar a la UE, y recordemos que se están invirtiendo cientos de miles de millones de dólares en la industria de la IA mientras hablamos.

Una cosa que puede impulsar la animosidad incluso más que cualquier diferencia percibida en el poder y el dinero es la línea de tendencia. Tras libros ampliamente elogiados como Weapons of Math Destruction, de 2016, de la científica de datos Cathy O’Neil, y descubrimientos bomba de sesgo algorítmico, como el documento de 2018 «Gender Shades» de Buolamwini y Gebru, la perspectiva ética de la IA había captado la atención y el apoyo del público.

En 2014, la causa del riesgo x de la IA tuvo su propio bestseller sorpresa, Superintelligence, del filósofo Nick Bostrom, que argumentaba que la IA más allá de lo humano podría llevar a la extinción y se ganó los elogios de figuras como Elon Musk y Bill Gates. Pero Yudkowsky me dijo que, antes de ChatGPT, fuera de ciertos círculos de Silicon Valley, si te planteabas seriamente la tesis del libro, la gente te miraba raro. Los primeros defensores de la seguridad de la IA, como Yudkowsky, han ocupado la extraña posición de mantener estrechos vínculos con la riqueza y el poder a través de los tecnólogos de la Bay Area al tiempo que permanecían marginados en el discurso más amplio.

En el mundo posterior a ChatGPT, los galardonados con el premio Turing y el Nobel están saliendo del armario de la seguridad de la IA y adoptando los argumentos popularizados por Yudkowsky, cuya publicación más conocida es una obra de ficción de fans de Harry Potter de más de 660.000 palabras.

Quizá el presagio más impactante de este nuevo mundo se emitió en noviembre, cuando los presentadores de un podcast tecnológico del New York Times, Hard Fork, le preguntaron al presidente de la Comisión Federal de Comercio: «¿Cuál es su p(doom), Lina Khan? ¿Cuál es su probabilidad de que la IA nos mate a todos?». La charla sobre la IA se ha convertido en la corriente dominante. (Khan dijo que es «optimista» y dio una estimación «baja» del 15%).

Sería fácil observar todas las cartas abiertas y los ciclos mediáticos y pensar que la mayoría de los investigadores de IA se están movilizando contra el riesgo existencial. Pero cuando le pregunté a Bengio cómo se percibe hoy el riesgo x en la comunidad del aprendizaje automático, me dijo: «Oh, ha cambiado mucho. Antes era como el 0,1 por ciento de la gente prestaba atención a la cuestión. Y puede que ahora sea el 5 por ciento».

Probabilidades

Como muchos otros preocupados por el riesgo x de la IA, el reputado filósofo de la mente David Chalmers esgrimió un argumento probabilístico durante nuestra conversación: «No se trata de una situación en la que haya que estar seguro al 100 por cien de que tendremos una IA de nivel humano para preocuparse por ello. Si es el 5 por ciento, es algo de lo que tenemos que preocuparnos».

Este tipo de pensamiento estadístico es popular en la comunidad de EA y es gran parte de lo que llevó a sus miembros a centrarse en la IA en primer lugar. Si uno se remite a los argumentos de los expertos, puede acabar más confundido. Pero si tratas de promediar la preocupación de los expertos a partir de un puñado de encuestas, podrías acabar pensando que hay al menos un pequeño porcentaje de posibilidades de que se produzca la extinción de la IA, lo que podría ser suficiente para convertirlo en lo más importante del mundo. Y si le das algún valor a todas las generaciones futuras que podrían existir, la extinción humana es categóricamente peor que las catástrofes supervivientes.

Sin embargo, en el debate sobre la IA abundan las acusaciones de arrogancia. Escépticos como Melanie Mitchell y Oren Etzioni me dijeron que no había pruebas que apoyaran el caso del riesgo x, mientras que creyentes como Bengio y Leahy señalan los sorprendentes aumentos de capacidad y preguntan: ¿Y si el progreso no se detiene? Un amigo investigador académico de IA ha comparado la llegada de la inteligencia artificial con meter la economía y la política mundiales en una batidora.

Incluso si, por alguna razón, la IGA sólo puede igualar y no superar la inteligencia humana, la perspectiva de compartir la tierra con un número casi arbitrariamente grande de agentes digitales de nivel humano es aterradora, especialmente cuando probablemente intentarán hacerle ganar dinero a alguien.

Hay demasiadas ideas políticas acerca de cómo reducir el riesgo existencial de la IA como para discutirlas aquí. Pero uno de los mensajes más claros procedentes de la comunidad de seguridad de la IA es que deberíamos «ir más despacio». Los defensores de esta desaceleración esperan que dé a los responsables políticos y a la sociedad en general la oportunidad de ponerse al día y decidir activamente cómo se desarrolla y despliega una tecnología potencialmente transformadora.

Cooperación internacional

Una de las respuestas más comunes a cualquier intento de regular la IA es la objeción de «¡Pero China!» Altman, por ejemplo, declaró en mayo ante una comisión del Senado que «queremos que Estados Unidos lleve la iniciativa» y reconoció que uno de los peligros de ir más despacio es que «China u otro avance más rápido». Anderljung me escribió que esto «no es una razón suficientemente fuerte para no regular la IA».

En un artículo publicado en junio en Foreign Affairs, Helen Toner y dos politólogos informaban de que los investigadores chinos de IA a los que entrevistaron pensaban que los modelos chinos de IA van al menos dos o tres años por detrás de los modelos estadounidenses más avanzados. Además, los autores sostienen que, dado que los avances chinos en IA «dependen en gran medida de la reproducción y el ajuste de las investigaciones publicadas en el extranjero», una ralentización unilateral «probablemente desaceleraría» también el progreso chino. China también se ha movido más rápido que cualquier otro país importante para regular de forma significativa la IA, como observó el jefe de política de Anthropic, Jack Clark . Yudkowsky dice: «En realidad, a China no le interesa suicidarse junto con el resto de la humanidad».

Si la IA avanzada amenaza realmente a todo el mundo, la regulación nacional por sí sola no bastará. Pero unas fuertes restricciones nacionales podrían señalar de forma creíble a otros países la seriedad con la que se toman los riesgos. Rumman Chowdhury, destacado especialista en ética de la IA, ha pedido una supervisión mundial. Bengio dice que «tenemos que hacer ambas cosas».

Yudkowsky, como era de esperar, adoptó una postura maximalista, diciéndome que «la dirección correcta se parece más a poner todo el hardware de IA en un número limitado de centros de datos bajo la supervisión internacional de organismos con un tratado simétrico por el que nadie —incluidos los ejércitos, los gobiernos, China o la CIA— pueda hacer nada realmente horrible, incluida la construcción de superinteligencias».

En un polémico artículo de opinión publicado en Time en marzo, Yudkowsky abogaba por «cerrarlo todo» estableciendo una moratoria internacional sobre «nuevos grandes entrenamientos» respaldada por la amenaza de la fuerza militar. Dado que Yudkowsky cree firmemente que la IA avanzada sería mucho más peligrosa que cualquier arma nuclear o biológica, esta postura radical es natural.

Los veintiocho países que participaron en la reciente Cumbre sobre la Seguridad de la IA, incluidos Estados Unidos y China, firmaron la Declaración de Bletchley, en la que se reconocen los daños existentes derivados de la IA y el hecho de que «pueden surgir riesgos sustanciales derivados de un posible uso indebido intencionado o de problemas de control no intencionados relacionados con la alineación con la intención humana».

En la cumbre, el gobierno británico anfitrión le encargó a Bengio que dirigiera la elaboración del primer informe sobre el «Estado de la Ciencia» acerca de las «capacidades y riesgos de la IA en las fronteras», en un paso significativo hacia la creación de un organismo permanente de expertos como el Grupo Intergubernamental de Expertos sobre el Cambio Climático.

La cooperación entre Estados Unidos y China será imprescindible para una coordinación internacional significativa en el desarrollo de la IA. Y cuando se trata de IA, los dos países no están precisamente en los mejores términos. Con los controles a la exportación de la Ley CHIPS de 2022, Estados Unidos intentó amputar las capacidades de IA de China, algo que un analista de la industria habría considerado antes un «acto de guerra». Como Jacobin informó en mayo, algunos investigadores políticos orientados al riesgo x probablemente desempeñaron un papel en la aprobación de los onerosos controles. En octubre, Estados Unidos endureció las restricciones de la Ley CHIPS para acabar con las lagunas jurídicas.

Sin embargo, en una señal alentadora, Biden y Xi Jinping hablaron en noviembre sobre la seguridad de la IA y la prohibición de la IA en los sistemas de armas letales. Un comunicado de prensa de la Casa Blanca afirmaba: «Los líderes afirmaron la necesidad de abordar los riesgos de los sistemas avanzados de IA y mejorar la seguridad de la IA a través de conversaciones entre los gobiernos de EE.UU. y China».

Las armas autónomas letales son también un área de relativo acuerdo en los debates sobre IA. En su nuevo libro Unmasking AI: My Mission to Protect What Is Human in a World of Machines, Joy Buolamwini defiende la campaña Stop Killer Robots, haciéndose eco de una vieja preocupación de muchos defensores de la seguridad de la IA. El Future of Life Institute, una organización de riesgo x, reunió a opositores ideológicos para que firmaran una carta abierta de 2016 en la que pedían la prohibición de las LAW ofensivas, entre ellos Bengio, Hinton, Sutton, Etzioni, LeCun, Musk, Hawking y Noam Chomsky.

Un sitio en la mesa

Tras años de inacción, los gobiernos del mundo por fin están prestando atención a la IA. Pero al no abordar seriamente lo que podrían hacer los sistemas del futuro, los socialistas están cediendo su asiento en la mesa.

En gran parte debido al tipo de personas que se sintieron atraídas por la IA, muchos de los primeros que adoptaron seriamente la idea del riesgo x decidieron dedicarse a la investigación extremadamente teórica sobre cómo controlar la IA avanzada o crearon empresas de IA. Pero para otro tipo de personas, la respuesta a la creencia de que la IA podría acabar con el mundo es intentar que la gente deje de construirla.

Los promotores siguen diciendo que el desarrollo de la IA es inevitable y, si un número suficiente de personas lo cree, se convierte en realidad. Pero «no hay nada en la inteligencia artificial que sea inevitable», escribe el AI Now Institute. El director gerente Myers West se hizo eco de esto, mencionando que la tecnología de reconocimiento facial parecía inevitable en 2018, pero desde entonces ha sido prohibida en muchos lugares. Y como señala la investigadora de x-risk Katja Grace, no deberíamos sentir la necesidad de construir cada tecnología simplemente porque podemos.

Además, muchos responsables políticos están viendo los recientes avances de la IA y enloqueciendo. El senador Mitt Romney está «más aterrorizado por la IA» que optimista, y su colega Chris Murphy dice: «Las consecuencias de que tantas funciones humanas se externalicen a la IA son potencialmente desastrosas». Los congresistas Ted Lieu y Mike Johnson están literalmente «asustados» por la IA. Si ciertos tecnólogos son los únicos dispuestos a reconocer que las capacidades de la IA han mejorado drásticamente y podrían suponer una amenaza a nivel de especie en el futuro, es a ellos a quienes escucharán desproporcionadamente los responsables políticos. En mayo, el profesor y especialista en ética de la IA Kristian Lum tuiteó: «Hay un riesgo existencial que estoy seguro que los LLM plantean y es a la credibilidad del campo de FAccT [Equidad, Responsabilidad y Transparencia]/IA Ética si seguimos empujando la narrativa vende humo sobre ellos».

Incluso si la idea de una extinción impulsada por la IA le parece más ficción que ciencia, podría tener un enorme impacto a la hora de influir en cómo se desarrolla una tecnología transformadora y qué valores representa. Suponiendo que consigamos que una hipotética inteligencia artificial haga lo que nosotros queramos, se plantea quizá la cuestión más importante a la que se enfrentará la humanidad: ¿Qué queremos que quiera?

Cuando le pregunté a Chalmers sobre esto, me dijo: «En algún momento recapitulamos todas las cuestiones de la filosofía política: ¿Qué tipo de sociedad queremos y valoramos realmente?».

Una forma de pensar en la llegada de la IA a nivel humano es que sería como crear la constitución de un nuevo país (la «IA constitucional» de Anthropic toma esta idea al pie de la letra, y la empresa experimentó recientemente con la incorporación de aportaciones democráticas al documento fundacional de su modelo). Los gobiernos son sistemas complejos que ejercen un enorme poder. Los cimientos sobre los que se establecen pueden influir en la vida de millones de personas ahora y en el futuro. Los estadounidenses viven bajo el yugo de hombres muertos que temían tanto al público que construyeron medidas antidemocráticas que siguen asolando su sistema político más de dos siglos después.

La IA puede ser más revolucionaria que cualquier innovación del pasado. También es una tecnología singularmente normativa, dado lo mucho que la construimos para que refleje nuestras preferencias. Como Jack Clark reflexionaba recientemente en Vox, «Es realmente extraño que no sea un proyecto gubernamental». Chalmers me dijo: «Una vez que de repente tenemos a las empresas tecnológicas intentando incorporar estos objetivos a los sistemas de IA, tenemos que confiar realmente en que las empresas tecnológicas acierten en estas cuestiones sociales y políticas tan profundas». No estoy seguro de hacerlo». Y subrayó: «No se trata sólo de una reflexión técnica, sino de una reflexión social y política».

Falsas opciones

Puede que no tengamos que esperar a encontrar sistemas superinteligentes que no den prioridad a la humanidad. Los agentes superinteligentes optimizan despiadadamente todo para obtener una recompensa a expensas de cualquier otra cosa que pueda importarnos. Cuanto más capaz sea el agente y más despiadado el optimizador, más extremos serán los resultados.

¿Le resulta familiar? Si es así, no está solo. El AI Objectives Institute (AOI) considera que tanto el capitalismo como la IA son ejemplos de optimizadores desalineados. Cofundado por Brittney Gallagher, ex presentadora de un programa de radio pública, y Peter Eckersley, «héroe de la privacidad», poco antes de su inesperada muerte, el laboratorio de investigación examina el espacio entre la aniquilación y la utopía, «una continuación de las tendencias existentes de concentración de poder en menos manos —superpotenciada por el avance de la IA— en lugar de una ruptura brusca con el presente». El presidente de la AOI, Deger Turan, me dijo: «El riesgo existencial es la incapacidad de coordinarse ante un riesgo». Según él, «tenemos que crear puentes entre» la seguridad y la ética de la IA.

Una de las ideas más influyentes en los círculos de riesgo x es la maldición del unilateralista, un término para situaciones en las que un actor solitario puede arruinar las cosas para todo el grupo. Por ejemplo, si un grupo de biólogos descubre una forma de hacer más mortal una enfermedad, sólo hace falta que uno lo publique. En las últimas décadas, mucha gente se ha convencido de que la IA podría acabar con la humanidad, pero sólo los más ambiciosos y tolerantes al riesgo han creado las empresas que ahora están avanzando la frontera de las capacidades de la IA, o, como dijo recientemente Sam Altman , empujando el «velo de la ignorancia hacia atrás». Como alude el CEO, no tenemos forma de saber realmente qué hay más allá del límite tecnológico.

Algunos comprendemos perfectamente los riesgos, pero seguimos adelante. Con la ayuda de los mejores científicos, ExxonMobil descubrió de forma concluyente en 1977 que su producto causaba el calentamiento global. Luego le mintieron al público al respecto, al tiempo que construían sus plataformas petrolíferas de mayor altura.

La idea de que la quema de carbono podía calentar el clima se planteó por primera vez a finales del siglo XIX, pero el consenso científico sobre el cambio climático tardó casi cien años en formarse. La idea de que podríamos perder permanentemente el control en favor de las máquinas es más antigua que la informática digital, pero sigue estando lejos de ser un consenso científico. Y si el progreso reciente de la IA continúa a este ritmo, puede que no tengamos décadas para formar un consenso antes de actuar de forma significativa.

El debate público puede llevarnos a pensar que tenemos que elegir entre abordar los daños inmediatos de la IA y sus riesgos existenciales, inherentemente especulativos. Y no cabe duda de que hay soluciones de compromiso que requieren una cuidadosa consideración.

Pero si nos fijamos en las fuerzas materiales que están en juego, el panorama es distinto: en una esquina hay empresas multimillonarias que intentan que los modelos de IA sean más potentes y rentables; en otra, hay grupos de la sociedad civil que intentan que la IA refleje valores que chocan habitualmente con la maximización del beneficio.

En resumen, es el capitalismo contra la humanidad.