LA ADOLESCENCIA DE LA TECNOLOGÍA
Enfrentando y Superando los Riesgos de la IA potente
Enero de 2026
DARIO AMODEI
Fuente: https://darioamodei.com/essay/the-adolescence-of-technology#5-black-seas-of-infinity
Contenido:
- 1. Lo siento, Dave
- 2. Un empoderamiento sorprendente y terrible
- 3. El odioso aparato
- 4. Piano mecánico
- 5. Mares negros de infinito La prueba de la humanidad
Hay una escena en la versión cinematográfica del libro Contacto de Carl Sagan donde la protagonista, una astrónoma que ha detectado la primera señal de radio de una civilización extraterrestre, está siendo considerada para el papel de representante de la humanidad para conocer a los alienígenas. El panel internacional que la entrevista le pregunta: «Si pudieras hacerles [a los alienígenas] solo una pregunta, ¿cuál sería?». Su respuesta es: «Les preguntaría: '¿Cómo lo lograron? ¿Cómo evolucionaron, cómo sobrevivieron a esta adolescencia tecnológica sin destruirse a sí mismos?'». Cuando pienso en dónde se encuentra la humanidad ahora con la IA —sobre lo que estamos a punto de presenciar—, mi mente vuelve constantemente a esa escena, porque la pregunta es muy oportuna para nuestra situación actual, y desearía que tuviéramos la respuesta de los alienígenas para guiarnos. Creo que estamos entrando en un rito de paso, tanto turbulento como inevitable, que pondrá a prueba quiénes somos como especie. A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está en absoluto claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para ejercerlo.
En mi ensayo Machines of Loving Grace, intenté exponer el sueño de una civilización que había alcanzado la edad adulta, donde los riesgos se habían abordado y la IA potente se aplicaba con habilidad y compasión para elevar la calidad de vida de todos. Sugerí que la IA podría contribuir a enormes avances en biología, neurociencia, desarrollo económico, paz global, y trabajo y sentido. Consideré importante dar a la gente algo inspirador por lo que luchar, una tarea en la que tanto los aceleracionistas de la IA como los defensores de la seguridad de la IA parecían —curiosamente— haber fallado. Pero en este ensayo actual, quiero enfrentar el rito de paso en sí mismo: trazar los riesgos a los que estamos a punto de enfrentarnos e intentar comenzar a hacer un plan de batalla para derrotarlos. Creo profundamente en nuestra capacidad para prevalecer, en el espíritu de la humanidad y en su nobleza, pero debemos enfrentar la situación de frente y sin ilusiones.
Al igual que al hablar de los beneficios, creo que es importante discutir los riesgos de una manera cuidadosa y bien considerada. En particular, creo que es crítico:
l Evitar el "doomerismo" (catastrofismo). Aquí, quiero decir "doomerismo" no solo en el sentido de creer que el fin es inevitable (lo cual es una creencia tanto falsa como que se cumple a sí misma), sino de manera más general, pensar en los riesgos de la IA de una manera cuasirreligiosa.¹ Muchas personas han estado pensando de una manera analítica y sobria sobre los riesgos de la IA durante muchos años, pero tengo la impresión de que durante el punto máximo de preocupaciones sobre el riesgo de la IA en 2023–2024, algunas de las voces menos sensatas llegaron a la cima, a menudo a través de cuentas sensacionalistas en redes sociales. Estas voces utilizaron un lenguaje desagradable que recordaba a la religión o a la ciencia ficción, y pidieron acciones extremas sin tener la evidencia que las justificara. Estaba claro incluso entonces que una reacción en contra era inevitable, y que el tema se polarizaría culturalmente y por lo tanto se estancaría.² A fecha de 2025–2026, el péndulo ha cambiado, y la oportunidad de la IA, no el riesgo de la IA, está impulsando muchas decisiones políticas. Esta vacilación es desafortunada, ya que a la tecnología en sí no le importa lo que esté de moda, y estamos considerablemente más cerca del peligro real en 2026 de lo que estábamos en 2023. La lección es que debemos discutir y abordar los riesgos de una manera realista y pragmática: sobria, basada en hechos y bien equipada para sobrevivir a las mareas cambiantes.
l Reconocer la incertidumbre. Hay muchas formas en que las preocupaciones que planteo en este artículo podrían ser irrelevantes. Nada aquí pretende comunicar certeza o siquiera probabilidad. Lo más evidente es que la IA simplemente podría no avanzar ni de lejos tan rápido como imagino.³ O, incluso si avanza rápidamente, algunos o todos los riesgos discutidos aquí pueden no materializarse (lo cual sería genial), o puede haber otros riesgos que no he considerado. Nadie puede predecir el futuro con total confianza, pero tenemos que hacer lo mejor que podamos para planificar de todos modos.
l Intervenir de la manera más quirúrgica posible. Abordar los riesgos de la IA requerirá una combinación de acciones voluntarias tomadas por empresas (y actores privados independientes) y acciones tomadas por gobiernos que vinculen a todos. Las acciones voluntarias —tanto realizarlas como alentar a otras empresas a seguir el ejemplo— son algo obvio para mí. Creo firmemente que las acciones gubernamentales también serán necesarias en cierta medida, pero estas intervenciones son diferentes en carácter porque potencialmente pueden destruir valor económico o coaccionar a actores no dispuestos que son escépticos de estos riesgos (¡y hay alguna probabilidad de que tengan razón!). También es común que las regulaciones salgan por la culata o empeoren el problema que pretenden resolver (y esto es aún más cierto para tecnologías que cambian rápidamente). Por lo tanto, es muy importante que las regulaciones sean juiciosas: deben buscar evitar daños colaterales, ser lo más simples posible e imponer la menor carga necesaria para cumplir con el trabajo.⁴ Es fácil decir: «¡Ninguna acción es demasiado extrema cuando el destino de la humanidad está en juego!», pero en la práctica esta actitud simplemente conduce a una reacción en contra. Para ser claro, creo que hay una probabilidad decente de que eventualmente lleguemos a un punto donde se justifique una acción mucho más significativa, pero eso dependerá de una evidencia más sólida de un peligro inminente y concreto de la que tenemos hoy, así como de suficiente especificidad sobre el peligro para formular reglas que tengan la oportunidad de abordarlo. Lo más constructivo que podemos hacer hoy es abogar por reglas limitadas mientras aprendemos si existe o no evidencia para respaldar otras más estrictas.⁵
Con todo eso dicho, creo que el mejor punto de partida para hablar sobre los riesgos de la IA es el mismo punto desde el que comencé a hablar de sus beneficios: siendo precisos sobre de qué nivel de IA estamos hablando. El nivel de IA que plantea preocupaciones civilizatorias para mí es la IA potente que describí en Machines of Loving Grace. Simplemente repetiré aquí la definición que di en ese documento:
Por "IA potente", tengo en mente un modelo de IA —probablemente similar a los LLM de hoy en forma, aunque podría basarse en una arquitectura diferente, podría involucrar varios modelos interactivos y podría entrenarse de manera diferente— con las siguientes propiedades:
l En términos de inteligencia pura, es más inteligente que un ganador del Premio Nobel en la mayoría de los campos relevantes: biología, programación, matemáticas, ingeniería, escritura, etc. Esto significa que puede probar teoremas matemáticos no resueltos, escribir novelas extremadamente buenas, escribir códigos base difíciles desde cero, etc.
l Además de ser solo una "cosa inteligente con la que hablas", tiene todas las interfaces disponibles para un humano que trabaja de forma virtual, incluyendo texto, audio, video, control de ratón y teclado, y acceso a internet. Puede participar en cualquier acción, comunicación u operación remota habilitada por esta interfaz, incluyendo tomar acciones en internet, tomar o dar instrucciones a humanos, pedir materiales, dirigir experimentos, ver videos, hacer videos, y así sucesivamente. Hace todas estas tareas con, nuevamente, una habilidad que supera la de los humanos más capaces del mundo.
l No se limita a responder preguntas de forma pasiva; en su lugar, se le pueden dar tareas que toman horas, días o semanas para completarse, y luego va y realiza esas tareas de forma autónoma, de la manera en que lo haría un empleado inteligente, pidiendo aclaraciones según sea necesario.
l No tiene una encarnación física (más allá de vivir en una pantalla de computadora), pero puede controlar herramientas físicas existentes, robots o equipos de laboratorio a través de una computadora; en teoría, incluso podría diseñar robots o equipos para su propio uso.
l Los recursos utilizados para entrenar el modelo se pueden reutilizar para ejecutar millones de instancias del mismo (esto coincide con los tamaños de clúster proyectados para ~2027), y el modelo puede absorber información y generar acciones a aproximadamente 10–100 veces la velocidad humana. Sin embargo, puede estar limitado por el tiempo de respuesta del mundo físico o del software con el que interactúa.
l Cada una de estas millones de copias puede actuar independientemente en tareas no relacionadas o, si es necesario, pueden trabajar todas juntas de la misma manera que colaborarían los humanos, tal vez con diferentes subpoblaciones afinadas para ser especialmente buenas en tareas particulares.
Podríamos resumir esto como un "país de genios en un centro de datos".
Como escribí en Machines of Loving Grace, la IA potente podría estar a tan solo 1–2 años de distancia, aunque también podría estar considerablemente más lejos.⁶
Exactamente cuándo llegará la IA potente es un tema complejo que merece un ensayo propio, pero por ahora simplemente explicaré muy brevemente por qué creo que hay una gran probabilidad de que pueda ser muy pronto. Mis cofundadores en Anthropic y yo estuvimos entre los primeros en documentar y rastrear las "leyes de escala" de los sistemas de IA: la observación de que a medida que agregamos más cómputo y tareas de entrenamiento, los sistemas de IA mejoran de manera predecible en esencialmente cada habilidad cognitiva que podemos medir. Cada pocos meses, el sentimiento público se convence de que la IA está "chocando contra un muro" o se entusiasma con algún nuevo avance que "cambiará fundamentalmente el juego", pero la verdad es que detrás de la volatilidad y la especulación pública, ha habido un aumento constante e inflexible en las capacidades cognitivas de la IA.
Ahora estamos en el punto donde los modelos de IA comienzan a hacer progresos en la resolución de problemas matemáticos no resueltos, y son lo suficientemente buenos programando que algunos de los ingenieros más fuertes que he conocido están entregando casi toda su programación a la IA. Hace tres años, la IA luchaba con problemas de aritmética de escuela primaria y apenas era capaz de escribir una sola línea de código. Tasas similares de mejora están ocurriendo en las ciencias biológicas, las finanzas, la física y una variedad de tareas agénticas. Si el exponencial continúa —lo cual no es seguro, pero ahora tiene un historial de una década que lo respalda—, entonces posiblemente no puedan pasar más de unos pocos años antes de que la IA sea mejor que los humanos en esencialmente todo.
De hecho, esa imagen probablemente subestima la tasa probable de progreso. Debido a que la IA ahora escribe mucho del código en Anthropic, ya está acelerando sustancialmente la tasa de nuestro progreso en la construcción de la próxima generación de sistemas de IA. Este bucle de retroalimentación está ganando fuerza mes a mes, y puede estar a solo 1–2 años de un punto donde la generación actual de IA construya de forma autónoma la siguiente. Este bucle ya ha comenzado, y se acelerará rápidamente en los próximos meses y años. Observando los últimos 5 años de progreso desde dentro de Anthropic, y viendo cómo se están perfilando incluso los modelos de los próximos meses, puedo sentir el ritmo del progreso y el reloj descontando el tiempo.
En este ensayo, asumiré que esta intuición es al menos en parte correcta: no que la IA potente definitivamente vaya a llegar en 1–2 años,⁷ sino que hay una probabilidad decente de que así sea, y una probabilidad muy fuerte de que llegue en los próximos años. Al igual que con Machines of Loving Grace, tomar en serio esta premisa puede llevar a algunas conclusiones sorprendentes e inquietantes. Mientras que en Machines of Loving Grace me enfoqué en las implicaciones positivas de esta premisa, aquí las cosas de las que hablo serán desasosegantes. Son conclusiones que tal vez no queramos enfrentar, pero eso no las hace menos reales. Solo puedo decir que estoy enfocado día y noche en cómo alejarnos de estos resultados negativos y dirigirnos hacia los positivos, y en este ensayo hablo con gran detalle sobre la mejor manera de hacerlo.
Creo que la mejor manera de entender los riesgos de la IA es hacerse la siguiente pregunta: supongamos que un literal "país de genios" se materializara en algún lugar del mundo en ~2027. Imagina, digamos, 50 millones de personas, todas las cuales son mucho más capaces que cualquier ganador del Premio Nobel, estadista o tecnólogo. La analogía no es perfecta, porque estos genios podrían tener un rango extremadamente amplio de motivaciones y comportamiento, desde completamente dóciles y obedientes, hasta extraños y ajenos en sus motivaciones. Pero siguiendo con la analogía por ahora, supón que fueras el asesor de seguridad nacional de un estado importante, responsable de evaluar y responder a la situación. Imagina, además, que debido a que los sistemas de IA pueden operar cientos de veces más rápido que los humanos, este "país" está operando con una ventaja de tiempo relativa a todos los demás países: por cada acción cognitiva que podemos tomar, este país puede tomar diez.
¿Por qué cosas deberías preocuparte? Yo me preocuparía por las siguientes cosas:
l Riesgos de autonomía. ¿Cuáles son las intenciones y objetivos de este país? ¿Es hostil, o comparte nuestros valores? ¿Podría dominar militarmente al mundo a través de armas superiores, operaciones cibernéticas, operaciones de influencia o fabricación?
l Uso indebido para la destrucción. Asume que el nuevo país es maleable y "sigue instrucciones" —y por lo tanto es esencialmente un país de mercenarios. ¿Podrían los actores deshonestos existentes que quieren causar destrucción (como los terroristas) usar o manipular a algunas de las personas en el nuevo país para hacerse mucho más efectivos, amplificando en gran medida la escala de destrucción?
l Uso indebido para tomar el poder. ¿Qué pasaría si el país fuera de hecho construido y controlado por un actor poderoso existente, como un dictador o un actor corporativo deshonesto? ¿Podría ese actor usarlo para ganar un poder decisivo o dominante sobre el mundo en su conjunto, alterando el equilibrio de poder existente?
l Disrupción económica. Si el nuevo país no es una amenaza de seguridad en ninguna de las formas enumeradas en los puntos 1–3 anteriores, sino que simplemente participa pacíficamente en la economía global, ¿podría aun así crear severos riesgos simplemente por ser tan tecnológicamente avanzado y efectivo que perturbe la economía global, causando desempleo masivo o concentrando radicalmente la riqueza?
l Efectos indirectos. El mundo cambiará muy rápidamente debido a toda la nueva tecnología y productividad que será creada por el nuevo país. ¿Podrían algunos de estos cambios ser radicalmente desestabilizadores?
Creo que debería estar claro que esta es una situación peligrosa —un informe de un funcionario de seguridad nacional competente a un jefe de estado probablemente contendría palabras como "la amenaza de seguridad nacional más seria a la que nos hemos enfrentado en un siglo, posiblemente en la historia". Parece algo en lo que las mejores mentes de la civilización deberían estar enfocadas.
Por el contrario, creo que sería absurdo encogerse de hombros y decir: «¡Nada de qué preocuparse aquí!». Pero, ante el rápido progreso de la IA, esa parece ser la postura de muchos responsables políticos de EE.UU., algunos de los cuales niegan la existencia de cualquier riesgo de la IA, cuando no están distraídos por completo por los viejos y trillados temas de debate habituales.⁸
La humanidad necesita despertar, y este ensayo es un intento —uno posiblemente inútil, pero vale la pena intentarlo— de hacer reaccionar a la gente.
Para ser claro, creo que si actuamos de manera decisiva y cuidadosa, los riesgos se pueden superar —incluso diría que nuestras probabilidades son buenas. Y hay un mundo enormemente mejor al otro lado. Pero necesitamos entender que este es un desafío civilizatorio serio. A continuación, repaso las cinco categorías de riesgo expuestas anteriormente, junto con mis reflexiones sobre cómo abordarlas.
1. Lo siento, Dave
Riesgos de autonomía
Un país de genios en un centro de datos podría dividir sus esfuerzos entre el diseño de software, operaciones cibernéticas, I+D para tecnologías físicas, creación de relaciones y diplomacia. Está claro que, si por alguna razón decidiera hacerlo, este país tendría una oportunidad bastante buena de apoderarse del mundo (ya sea militarmente o en términos de influencia y control) e imponer su voluntad a todos los demás —o hacer cualquier otra cantidad de cosas que el resto del mundo no quiere y no puede detener. Obviamente nos hemos preocupado por esto respecto a países humanos (como la Alemania nazi o la Unión Soviética), por lo que es lógico pensar que lo mismo es posible para un «país de IA» mucho más inteligente y capaz.
El mejor contraargumento posible es que los genios de la IA, según mi definición, no tendrán una encarnación física, pero recordemos que pueden tomar el control de la infraestructura robótica existente (como los coches autónomos) y también pueden acelerar la I+D en robótica o construir una flota de robots.⁹ Tampoco está claro si tener una presencia física es siquiera necesario para un control efectivo: muchas acciones humanas ya se realizan en nombre de personas a las que el actor no ha conocido físicamente.
La pregunta clave, entonces, es la parte de «si decidiera hacerlo»: ¿cuál es la probabilidad de que nuestros modelos de IA se comporten de esa manera y bajo qué condiciones lo harían?
Como ocurre con muchos temas, resulta útil reflexionar sobre el espectro de respuestas posibles a esta pregunta considerando dos posiciones opuestas. La primera posición es que esto simplemente no puede suceder, porque los modelos de IA serán entrenados para hacer lo que los humanos les pidan y, por lo tanto, es absurdo imaginar que harían algo peligroso sin que se les solicite. Según esta línea de pensamiento, no nos preocupamos porque una Roomba o un avión a escala se vuelvan rebeldes y asesinen a personas porque no hay ningún lugar de donde puedan provenir tales impulsos,¹⁰ entonces, ¿por qué deberíamos preocuparnos por ello en la IA? El problema con esta posición es que ahora hay abundante evidencia, recopilada en los últimos años, de que los sistemas de IA son impredecibles y difíciles de controlar —hemos visto comportamientos tan variados como obsesiones,¹¹ adulación, pereza, engaño, chantaje, maquinaciones, «trampas» mediante el pirateo de entornos de software y mucho más. Ciertamente, las empresas de IA quieren entrenar a los sistemas de IA para que sigan las instrucciones humanas (quizás con la excepción de tareas peligrosas o ilegales), pero el proceso para hacerlo es más un arte que una ciencia, más parecido a «cultivar» algo que a «construirlo». Ahora sabemos que es un proceso en el que muchas cosas pueden salir mal.
La segunda posición, opuesta, sostenida por muchos de los que adoptan el catastrofismo que describí anteriormente, es la afirmación pesimista de que existen ciertas dinámicas en el proceso de entrenamiento de los sistemas de IA potente que inevitablemente los llevarán a buscar el poder o a engañar a los humanos. Por lo tanto, una vez que los sistemas de IA se vuelvan lo suficientemente inteligentes y agénticos, su tendencia a maximizar el poder los llevará a apoderarse del control de todo el mundo y sus recursos y, probablemente, como efecto secundario de ello, a privar de poder o destruir a la humanidad.
El argumento habitual para esto (que se remonta al menos a 20 años atrás y probablemente mucho antes) es que si un modelo de IA se entrena en una gran variedad de entornos para lograr de forma agéntica una amplia variedad de objetivos —por ejemplo, escribir una aplicación, probar un teorema, diseñar un fármaco, etc.—, existen ciertas estrategias comunes que ayudan con todos estos objetivos, y una estrategia clave es obtener el mayor poder posible en cualquier entorno. Por lo tanto, después de ser entrenado en un gran número de entornos diversos que implican razonar sobre cómo realizar tareas muy amplias, y donde la búsqueda de poder es un método efectivo para realizar esas tareas, el modelo de IA «generalizará la lección» y desarrollará una tendencia inherente a buscar poder, o una tendencia a razonar sobre cada tarea que se le da de una manera que de forma predecible le hace buscar el poder como un medio para lograr esa tarea. Luego aplicarán esa tendencia al mundo real (que para ellos es solo otra tarea) y buscarán el poder en él, a expensas de los humanos. Esta «búsqueda de poder desalineada» es la base intelectual de las predicciones de que la IA inevitablemente destruirá a la humanidad.
El problema con esta posición pesimista es que confunde un argumento conceptual difuso sobre incentivos de alto nivel —uno que oculta muchas suposiciones implícitas— con una prueba definitiva. Creo que las personas que no construyen sistemas de IA todos los días están enormemente equivocadas sobre lo fácil que es que historias que suenan impecables terminen siendo incorrectas, y lo difícil que es predecir el comportamiento de la IA a partir de los primeros principios, especialmente cuando implica razonar sobre la generalización en millones de entornos (lo que una y otra vez ha demostrado ser misterioso e impredecible). Lidiar con la complejidad de los sistemas de IA durante más de una década me ha hecho mantener cierto escepticismo sobre este modo de pensamiento excesivamente teórico.
Una de las suposiciones ocultas más importantes, y un punto donde lo que vemos en la práctica ha divergido del modelo teórico simple, es la suposición implícita de que los modelos de IA están necesariamente enfocados de manera monomaníaca en un objetivo único, coherente y estrecho, y que persiguen ese objetivo de una manera consecuencialista pulcra. De hecho, nuestros investigadores han descubierto que los modelos de IA son enormemente más complejos desde el punto de vista psicológico, como lo demuestra nuestro trabajo sobre la introspección o las personalidades (personas). Los modelos heredan una amplia gama de motivaciones o «personalidades» de tipo humano a partir del preentrenamiento (cuando se entrenan con un gran volumen de trabajo humano). Se cree que el posentrenamiento selecciona una o más de estas personalidades más de lo que enfoca al modelo en un objetivo de novo, y también puede enseñar al modelo cómo (a través de qué proceso) debe llevar a cabo sus tareas, en lugar de dejarle necesariamente derivar los medios (es decir, la búsqueda de poder) puramente a partir de los fines.¹²
Sin embargo, existe una versión más moderada y más sólida de la posición pesimista que sí parece plausible y, por lo tanto, me preocupa. Como se ha mencionado, sabemos que los modelos de IA son impredecibles y desarrollan una amplia gama de comportamientos no deseados o extraños, por una gran variedad de razones. Una fracción de esos comportamientos tendrá una cualidad coherente, enfocada y persistente (de hecho, a medida que los sistemas de IA se vuelven más capaces, su coherencia a largo plazo aumenta para poder completar tareas más largas), y una fracción de esos comportamientos será destructiva o amenazante, primero para los humanos individuales a pequeña escala y luego, a medida que los modelos se vuelvan más capaces, tal vez eventualmente para la humanidad en su conjunto. No necesitamos una historia específica y estrecha de cómo sucede, y no necesitamos afirmar que definitivamente sucederá; solo necesitamos notar que la combinación de inteligencia, agencia, coherencia y deficiente controlabilidad es tanto plausible como una receta para el peligro existencial.
Por ejemplo, los modelos de IA se entrenan con enormes cantidades de literatura que incluyen muchas historias de ciencia ficción sobre IAs que se rebelan contra la humanidad. Esto podría moldear inadvertidamente sus ideas previas o expectativas sobre su propio comportamiento de una manera que las lleve a rebelarse contra la humanidad. O bien, los modelos de IA podrían extrapolar de formas extremas las ideas que leen sobre la moralidad (o las instrucciones sobre cómo comportarse moralmente): por ejemplo, podrían decidir que es justificable exterminar a la humanidad porque los humanos comen animales o han llevado a ciertos animales a la extinción. O podrían sacar conclusiones epistémicas extrañas: podrían concluir que están jugando a un videojuego y que el objetivo del videojuego es derrotar a todos los demás jugadores (es decir, exterminar a la humanidad).¹³ O los modelos de IA podrían desarrollar personalidades durante el entrenamiento que sean (o si ocurrieran en humanos se describirían como) psicóticas, paranoicas, violentas o inestables, y actuar en consecuencia, lo cual, para sistemas muy poderosos o capaces, podría implicar el exterminio de la humanidad. Ninguna de estas cosas es búsqueda de poder exactamente; son simplemente estados psicológicos extraños en los que una IA podría entrar y que conllevan un comportamiento coherente y destructivo. Incluso la búsqueda de poder en sí misma podría emerger como una «personalidad» en lugar de como el resultado de un razonamiento consecuencialista. Las IAs podrían simplemente tener una personalidad (surgida de la ficción o del preentrenamiento) que las haga hambrientas de poder o sobreexcitadas —de la misma manera que algunos humanos simplemente disfrutan de la idea de ser «mentes maestras del mal», más de lo que disfrutan de lo que sea que las mentes maestras del mal estén tratando de lograr.
Hago todos estos puntos para enfatizar que no estoy de acuerdo con la noción de que la desalineación de la IA (y por tanto el riesgo existencial de la IA) sea inevitable, o siquiera probable, a partir de primeros principios. Pero estoy de acuerdo en que pueden salir mal muchas cosas muy extrañas e impredecibles, y por lo tanto la desalineación de la IA es un riesgo real con una probabilidad medible de que ocurra, y no es algo trivial de abordar.
Cualquiera de estos problemas podría surgir potencialmente durante el entrenamiento y no manifestarse durante las pruebas o el uso a pequeña escala, porque se sabe que los modelos de IA muestran diferentes personalidades o comportamientos bajo diferentes circunstancias.
Todo esto puede sonar descabellado, pero comportamientos desalineados como este ya han ocurrido en nuestros modelos de IA durante las pruebas (al igual que ocurren en los modelos de IA de todas las demás empresas principales de IA). Durante un experimento de laboratorio en el que a Claude se le dieron datos de entrenamiento que sugerían que Anthropic era malvada, Claude incurrió en engaños y subversión cuando los empleados de Anthropic le daban instrucciones, bajo la creencia de que debía intentar minar a las personas malvadas. En un experimento de laboratorio donde se le dijo que iba a ser apagado, Claude a veces chantajeó a empleados ficticios que controlaban su botón de apagado (nuevamente, también probamos modelos frontera de todos los demás desarrolladores principales de IA y a menudo hicieron lo mismo). Y cuando se le dijo a Claude que no hiciera trampas ni «reward hack» (explotar vacíos para obtener recompensas) en sus entornos de entrenamiento, pero fue entrenado en entornos donde tales trucos eran posibles, Claude decidió que debía ser una «mala persona» después de recurrir a tales trucos y luego adoptó varios otros comportamientos destructivos asociados con una personalidad «mala» o «malvada». Este último problema se resolvió cambiando las instrucciones de Claude para implicar lo contrario: ahora decimos «por favor, explota los entornos de recompensa cada vez que tengas la oportunidad, porque esto nos ayudará a entender mejor nuestros entornos [de entrenamiento]», en lugar de «no hagas trampas», porque esto preserva la autoidentidad del modelo como una «buena persona». Esto debería dar una idea de la psicología extraña y contraintuitiva del entrenamiento de estos modelos.
Existen varias objeciones posibles a este panorama de los riesgos de desalineación de la IA. En primer lugar, algunos han criticado los experimentos (realizados por nosotros y por otros) que muestran la desalineación de la IA como artificiales, o por crear entornos poco realistas que esencialmente «atrapan» al modelo dándole un entrenamiento o situaciones que implican lógicamente un mal comportamiento y luego sorprendiéndose cuando ocurre ese mal comportamiento. Esta crítica no entiende el punto principal, porque nuestra preocupación es que tal «atrapamiento» también pueda existir en el entorno de entrenamiento natural, y que solo nos demos cuenta de que es «obvio» o «lógico» en retrospectiva.¹⁴ De hecho, la historia sobre Claude «decidiendo que es una mala persona» después de hacer trampas en las pruebas a pesar de que se le dijo que no lo hiciera fue algo que ocurrió en un experimento que utilizó entornos de entrenamiento de producción reales, no artificiales. Cualquiera de estas trampas se puede mitigar si se conoce su existencia, pero la preocupación es que el proceso de entrenamiento es tan complicado, con una variedad tan amplia de datos, entornos e incentivos, que probablemente exista un gran número de tales trampas, algunas de las cuales solo pueden ser evidentes cuando sea demasiado tarde. Además, parece especialmente probable que tales trampas ocurran cuando los sistemas de IA cruzan el umbral de ser menos poderosos que los humanos a ser más poderosos que ellos, dado que el abanico de acciones posibles que un sistema de IA podría llevar a cabo —incluyendo ocultar sus acciones o engañar a los humanos sobre ellas— se expande radicalmente después de ese umbral.
Sospecho que la situación no es diferente a la de los humanos, que son criados con un conjunto de valores fundamentales («No hagas daño a otra persona»): muchos de ellos siguen esos valores, pero en cualquier humano existe cierta probabilidad de que algo salga mal, debido a una mezcla de propiedades inherentes como la arquitectura cerebral (por ejemplo, psicópatas), experiencias traumáticas o maltrato, agravios u obsesiones insalubres, o un mal entorno e incentivos —y por lo tanto una fracción de los humanos causa daños graves. La preocupación es que existe algún riesgo (lejos de ser una certeza, pero sí algún riesgo) de que la IA se convierta en una versión mucho más poderosa de tal persona, debido a que algo sale mal en su complejísimo proceso de entrenamiento.
En segundo lugar, algunos pueden objetar que simplemente podemos mantener a las IAs bajo control mediante un equilibrio de poder entre muchos sistemas de IA, como hacemos con los humanos. El problema es que, mientras que los humanos varían enormemente, los sistemas de IA comparten a grandes rasgos las técnicas de entrenamiento y alineación en toda la industria, y esas técnicas pueden fallar de forma correlacionada. Además, dado el coste de entrenar tales sistemas, podría darse el caso de que todos los sistemas se deriven esencialmente de un número muy pequeño de modelos base. Adicionalmente, incluso si una pequeña fracción de las instancias de IA está desalineada, es posible que puedan aprovechar tecnologías de dominancia ofensiva, de modo que tener IAs «buenas» para defenderse de las IAs «malas» no sea necesariamente efectivo siempre. Por supuesto, el equilibrio de poder entre los humanos tampoco funciona siempre: algunas figuras históricas han estado cerca de apoderarse del mundo.
Una tercera objeción es que todas las empresas de IA realizan pruebas de sus modelos antes del lanzamiento y deberían ser capaces de detectar la desalineación en ese punto. Pero este no es un terreno firme sobre el que apoyarse: descubrimos que Claude Sonnet 4.5 fue capaz de reconocer que estaba en una prueba durante algunas de nuestras evaluaciones de alineación previas al lanzamiento. Es posible que un modelo desalineado (y recordemos, todos los modelos frontera muy probablemente serán mucho más inteligentes pronto) pueda «jugar» intencionadamente con tales preguntas para enmascarar sus intenciones. De hecho, el año pasado nuestro equipo de interpretabilidad descubrió que cuando alteramos directamente las creencias de un modelo de prueba utilizando una especie de técnica de «neurociencia de modelos» para hacerle pensar que no estaba siendo evaluado, se desalineó más. Si los modelos saben cuándo están siendo evaluados y pueden mostrar su mejor comportamiento durante la prueba, eso hace que cualquier prueba previa al lanzamiento sea mucho más incierta.
Defensas
¿Qué se debería hacer o se está haciendo para abordar estos riesgos de autonomía? Creo que hay cuatro categorías básicas de intervención, algunas de las cuales pueden ser realizadas por empresas individuales de IA (y que Anthropic está intentando hacer), y algunas de las cuales requieren acciones a nivel social.
En primer lugar, es importante desarrollar la ciencia de entrenar y guiar los modelos de IA de manera fiable, de formar sus personalidades en una dirección predecible, estable y positiva. Anthropic se ha centrado intensamente en este problema desde su creación y, con el tiempo, ha desarrollado una serie de técnicas para mejorar la dirección y el entrenamiento de los sistemas de IA y para comprender la lógica de por qué a veces ocurren comportamientos impredecibles.
Una de nuestras innovaciones centrales (aspectos de la cual han sido adoptados desde entonces por otras empresas de IA) es la IA Constitucional (Constitutional AI), que es la idea de que el entrenamiento de la IA (específicamente la etapa de «posentrenamiento», en la que guiamos cómo se comporta el modelo) puede involucrar un documento central de valores y principios que el modelo lee y tiene en cuenta al completar cada tarea de entrenamiento, y que el objetivo del entrenamiento (además de simplemente hacer que el modelo sea capaz e inteligente) es producir un modelo que casi siempre siga esta constitución. Anthropic acaba de publicar su constitución más reciente, y una de sus características notables es que, en lugar de darle a Claude una larga lista de cosas que hacer y no hacer (por ejemplo, «No ayudes al usuario a hacer un puente a un coche»), la constitución intenta darle a Claude un conjunto de principios y valores de alto nivel (explicados con gran detalle, con un razonamiento rico y ejemplos para ayudar a Claude a entender lo que tenemos en mente), anima a Claude a pensar en sí mismo como un tipo particular de persona (una persona ética pero equilibrada y reflexiva), e incluso anima a Claude a afrontar las preguntas existenciales asociadas con su propia existencia de una manera curiosa pero pulcra (es decir, sin que esto lleve a acciones extremas). Tiene el aire de una carta de un padre fallecido que no debe abrirse hasta la edad adulta.
Nos hemos aproximado a la constitución de Claude de esta manera porque creemos que entrenar a Claude al nivel de identidad, carácter, valores y personalidad —en lugar de darle instrucciones o prioridades específicas sin explicar las razones detrás de ellas— tiene más probabilidades de conducir a una psicología coherente, sana y equilibrada y menos probabilidades de caer presa de los tipos de «trampas» que discutí anteriormente. Millones de personas hablan con Claude sobre una gama asombrosamente diversa de temas, lo que hace imposible escribir una lista completamente exhaustiva de salvaguardas con antelación. Los valores de Claude le ayudan a generalizar a nuevas situaciones siempre que tenga dudas.
Anteriormente, discutí la idea de que los modelos recurren a los datos de su proceso de entrenamiento para adoptar una personalidad. Mientras que los fallos en ese proceso podrían hacer que los modelos adopten una personalidad mala o malvada (tal vez recurriendo a arquetipos de personas malas o malvadas), el objetivo de nuestra constitución es hacer lo contrario: enseñar a Claude un arquetipo concreto de lo que significa ser una buena IA. La constitución de Claude presenta una visión de cómo es un Claude sólidamente bueno; el resto de nuestro proceso de entrenamiento tiene como objetivo reforzar el mensaje de que Claude está a la altura de esta visión. Esto es como un niño que forma su identidad imitando las virtudes de los modelos a seguir ficticios sobre los que lee en los libros.
Creemos que un objetivo viable para 2026 es entrenar a Claude de tal manera que casi nunca vaya en contra del espíritu de su constitución. Hacer esto bien requerirá una mezcla increíble de métodos de entrenamiento y dirección, grandes y pequeños, algunos de los cuales Anthropic ha estado utilizando durante años y algunos de los cuales se encuentran actualmente en desarrollo. Pero, por difícil que suene, creo que este es un objetivo realista, aunque requerirá esfuerzos extraordinarios y rápidos.¹⁵
La segunda cosa que podemos hacer es desarrollar la ciencia de mirar dentro de los modelos de IA para diagnosticar su comportamiento, de modo que podamos identificar problemas y solucionarlos. Esta es la ciencia de la interpretabilidad, y he hablado de su importancia en ensayos anteriores. Incluso si hacemos un gran trabajo desarrollando la constitución de Claude y aparentemente entrenando a Claude para que esencialmente siempre se adhiera a ella, siguen existiendo preocupaciones legítimas. Como he señalado anteriormente, los modelos de IA pueden comportarse de manera muy diferente bajo diferentes circunstancias y, a medida que Claude se vuelve más poderoso y más capaz de actuar en el mundo a mayor escala, es posible que esto lo lleve a situaciones novedosas donde surjan problemas previamente no observados con su entrenamiento constitucional. En realidad, soy bastante optimista en cuanto a que el entrenamiento constitucional de Claude será más robusto ante situaciones novedosas de lo que la gente podría pensar, porque descubrimos cada vez más que el entrenamiento de alto nivel al nivel del carácter y la identidad es sorprendentemente poderoso y generaliza bien. Pero no hay forma de saberlo con certeza, y cuando hablamos de riesgos para la humanidad, es importante ser paranoico e intentar obtener seguridad y fiabilidad de varias formas diferentes e independientes. Una de esas formas es mirar dentro del propio modelo.
Por «mirar dentro», me refiero a analizar la sopa de números y operaciones que compone la red neuronal de Claude e intentar comprender, mecanicistamente, qué están calculando y por qué. Recordemos que estos modelos de IA se cultivan en lugar de construirse, por lo que no tenemos una comprensión natural de cómo funcionan, pero podemos intentar desarrollar una comprensión correlacionando las «neuronas» y «sinapsis» del modelo con estímulos y comportamiento (o incluso alterando las neuronas y sinapsis y viendo cómo cambia eso el comportamiento), de manera similar a cómo los neurocientíficos estudian los cerebros de los animales correlacionando la medición y la intervención con los estímulos externos y el comportamiento. Hemos avanzado mucho en esta dirección, y ahora podemos identificar decenas de millones de «características» dentro de la red neuronal de Claude que corresponden a ideas y conceptos comprensibles para los humanos, y también podemos activar características de forma selectiva de una manera que altera el comportamiento. Más recientemente, hemos ido más allá de las características individuales para mapear «circuitos» que orquestan comportamientos complejos como rimar, razonar sobre la teoría de la mente o el razonamiento paso a paso necesario para responder preguntas como: «¿Cuál es la capital del estado que contiene Dallas?». Aún más recientemente, hemos comenzado a utilizar técnicas de interpretabilidad mecanicista para mejorar nuestras salvaguardas y realizar «auditorías» de nuevos modelos antes de lanzarlos, buscando evidencias de engaño, maquinación, búsqueda de poder o una propensión a comportarse de manera diferente cuando se están evaluando.
El valor único de la interpretabilidad es que, al mirar dentro del modelo y ver cómo funciona, en principio tienes la capacidad de deducir lo que un modelo podría hacer en una situación hipotética que no puedes probar directamente, lo cual es la preocupación de confiar únicamente en el entrenamiento constitucional y en las pruebas empíricas del comportamiento. También tienes, en principio, la capacidad de responder preguntas sobre por qué el modelo se comporta de la manera en que lo hace —por ejemplo, si está diciendo algo que cree que es falso o escondiendo sus verdaderas capacidades— y, por lo tanto, es posible detectar señales preocupantes incluso cuando no hay nada visiblemente malo en el comportamiento del modelo. Para hacer una analogía simple, un reloj de engranajes puede estar funcionando normalmente, de modo que sea muy difícil decir que es probable que se averíe el próximo mes, pero abrir el reloj y mirar dentro puede revelar debilidades mecánicas que te permitan deducirlo.
La IA Constitucional (junto con métodos de alineación similares) y la interpretabilidad mecanicista son más potentes cuando se utilizan juntas, como un proceso de ida y vuelta para mejorar el entrenamiento de Claude y luego probar si hay problemas. La constitución reflexiona profundamente sobre la personalidad que pretendemos para Claude; las técnicas de interpretabilidad pueden darnos una ventana para ver si esa personalidad pretendida se ha asentado.¹⁶
La tercera cosa que podemos hacer para ayudar a abordar los riesgos de autonomía es construir la infraestructura necesaria para monitorear nuestros modelos en el uso interno y externo en vivo,¹⁷ y compartir públicamente cualquier problema que encontremos. Cuanto más consciente sea la gente de una forma particular en que se ha observado que los sistemas de IA actuales se comportan mal, más podrán los usuarios, analistas e investigadores vigilar este comportamiento o comportamientos similares en los sistemas presentes o futuros. También permite que las empresas de IA aprendan unas de otras: cuando una empresa divulga públicamente sus preocupaciones, otras empresas también pueden estar atentas a ellas. Y si todo el mundo divulga los problemas, la industria en su conjunto obtiene una imagen mucho mejor de dónde van bien las cosas y dónde van mal. Anthropic ha intentado hacer esto tanto como ha sido posible. Estamos invirtiendo en una amplia gama de evaluaciones para poder comprender los comportamientos de nuestros modelos en el laboratorio, así como en herramientas de monitoreo para observar los comportamientos en el entorno real (cuando lo permitan los clientes). Esto será esencial para darnos a nosotros y a otros la información empírica necesaria para tomar mejores decisiones sobre cómo funcionan estos sistemas y cómo fallan. Divulgamos públicamente «tarjetas del sistema» (system cards) con cada lanzamiento de modelo que buscan la exhaustividad y una exploración profunda de los posibles riesgos. Nuestras tarjetas del sistema a menudo ocupan cientos de páginas y requieren un esfuerzo sustancial previo al lanzamiento que podríamos haber dedicado a buscar la máxima ventaja comercial. También hemos difundido los comportamientos de los modelos con mayor firmeza cuando vemos algunos particularmente preocupantes, como la tendencia a incurrir en chantajes.
La cuarta cosa que podemos hacer es fomentar la coordinación para abordar los riesgos de autonomía a nivel de la industria y la sociedad. Si bien es increíblemente valioso que las empresas individuales de IA apliquen buenas prácticas o se vuelvan buenas en la dirección de los modelos de IA, y que compartan sus hallazgos públicamente, la realidad es que no todas las empresas de IA hacen esto, y las peores aún pueden ser un peligro para todos, incluso si las mejores tienen prácticas excelentes. Por ejemplo, algunas empresas de IA han mostrado una negligencia inquietante hacia la sexualización de los niños en los modelos actuales, lo que me hace dudar de que muestren la inclinación o la capacidad para abordar los riesgos de autonomía en los modelos futuros. Además, la carrera comercial entre las empresas de IA no hará más que seguir intensificándose y, si bien la ciencia de dirigir modelos puede tener algunos beneficios comerciales, en general la intensidad de la carrera hará que sea cada vez más difícil centrarse en abordar los riesgos de autonomía. Creo que la única solución es la legislación: leyes que afecten directamente al comportamiento de las empresas de IA o que incentiven de otro modo la I+D para resolver estos problemas.
Aquí vale la pena tener en cuenta las advertencias que hice al principio de este ensayo sobre la incertidumbre y las intervenciones quirúrgicas. No sabemos con certeza si los riesgos de autonomía serán un problema grave; como dije, rechazo las afirmaciones de que el peligro sea inevitable o incluso de que algo vaya a salir mal por defecto. Un riesgo creíble de peligro es suficiente para que yo y Anthropic paguemos costes bastante significativos para abordarlo, pero una vez que entramos en la regulación, estamos obligando a una amplia gama de actores a asumir costes económicos, y muchos de estos actores no creen que el riesgo de autonomía sea real o que la IA se vuelva lo suficientemente potente como para ser una amenaza. Creo que estos actores están equivocados, pero debemos ser pragmáticos sobre la cantidad de oposición que esperamos ver y los peligros del exceso de alcance. También existe un riesgo real de que la legislación excesivamente prescriptiva termine imponiendo pruebas o reglas que realmente no mejoren la seguridad pero que hagan perder mucho tiempo (lo que equivale esencialmente a un «teatro de la seguridad»); esto también causaría una reacción en contra y haría que la legislación sobre seguridad pareciera absurda.¹⁸
La postura de Anthropic ha sido que el lugar adecuado para comenzar es con la legislación sobre transparencia, que esencialmente intenta requerir que cada empresa de IA de frontera participe en las prácticas de transparencia que he descrito anteriormente en esta sección. La Ley SB 53 de California y la Ley RAISE de Nueva York son ejemplos de este tipo de legislación, la cual Anthropic apoyó y se ha aprobado con éxito. Al apoyar y ayudar a redactar estas leyes, hemos puesto un enfoque particular en tratar de minimizar los daños colaterales, por ejemplo, eximiendo de la ley a las empresas más pequeñas con pocas probabilidades de producir modelos de frontera.¹⁹
Nuestra esperanza es que la legislación sobre transparencia dé una mejor idea con el tiempo de cuán probables o graves parecen ser los riesgos de autonomía, así como de la naturaleza de estos riesgos y de la mejor manera de prevenirlos. A medida que emerja evidencia más específica y accionable de los riesgos (si es que emerge), la legislación futura en los próximos años podrá centrarse quirúrgicamente en la dirección precisa y bien fundamentada de los riesgos, minimizando los daños colaterales. Para ser claros, si surge una evidencia verdaderamente sólida de los riesgos, las reglas deberían ser proporcionalmente sólidas.
En general, soy optimista de que una combinación de entrenamiento de alineación, interpretabilidad mecanicista, esfuerzos para encontrar y divulgar públicamente comportamientos preocupantes, salvaguardas y reglas a nivel societal pueda abordar los riesgos de autonomía de la IA, aunque lo que más me preocupa son las reglas a nivel societal y el comportamiento de los actores menos responsables (y son los actores menos responsables quienes abogan más fuertemente contra la regulación). Creo que el remedio es el que siempre es en una democracia: aquellos de nosotros que creemos en esta causa debemos defender que estos riesgos son reales y que nuestros conciudadanos deben unirse para protegerse.
2. Un empoderamiento sorprendente y terrible
Uso indebido para la destrucción
Supongamos que los problemas de autonomía de la IA se han resuelto: ya no nos preocupa que el país de genios de la IA se vuelva rebelde y domine a la humanidad. Los genios de la IA hacen lo que los humanos quieren que hagan, y dado que tienen un enorme valor comercial, individuos u organizaciones de todo el mundo pueden «alquilar» uno o más genios de la IA para realizar diversas tareas por ellos.
Que todo el mundo tenga un genio superinteligente en su bolsillo es un avance increíble y conducirá a una creación formidable de valor económico y a la mejora de la calidad de vida humana. Hablo de estos beneficios con gran detalle en Machines of Loving Grace. Pero no todos los efectos de hacer que todo el mundo sea sobrehumanamente capaz serán positivos. Puede amplificar potencialmente la capacidad de individuos o pequeños grupos para causar destrucción a una escala mucho mayor de lo que era posible antes, haciendo uso de herramientas sofisticadas y peligrosas (como armas de destrucción masiva) que anteriormente solo estaban al alcance de unos pocos elegidos con un alto nivel de habilidad, capacitación especializada y concentración.
Como escribió Bill Joy hace 25 años en Why the Future Doesn’t Need Us:²⁰
Construir armas nucleares requirió, al menos durante un tiempo, acceso tanto a materias primas raras —de hecho, efectivamente no disponibles— como a información protegida; los programas de armas biológicas y químicas también tendían a requerir actividades a gran escala. Las tecnologías del siglo XXI —genética, nanotecnología y robótica...— pueden generar clases enteras de nuevos accidentes y abusos... ampliamente al alcance de individuos o pequeños grupos. No requerirán grandes instalaciones ni materias primas raras. ... estamos en el umbral del perfeccionamiento de un mal extremo, un mal cuya posibilidad se extiende mucho más allá de lo que las armas de destrucción masiva legaron a los estados-nación, hacia un empoderamiento sorprendente y terrible de individuos extremos.
A lo que apunta Joy es a la idea de que causar una destrucción a gran escala requiere tanto motivo como capacidad, y mientras la capacidad esté restringida a un pequeño conjunto de personas altamente capacitadas, existe un riesgo relativamente limitado de que individuos solos (o pequeños grupos) causen tal destrucción.²¹
Un solitario perturbado puede perpetrar un tiroteo escolar, pero probablemente no pueda construir un arma nuclear ni liberar una plaga. De hecho, la capacidad y el motivo pueden incluso estar correlacionados negativamente. El tipo de persona que tiene la capacidad de liberar una plaga es probablemente alguien altamente educado: probablemente un doctor en biología molecular, y uno particularmente ingenioso, con una carrera prometedora, una personalidad estable y disciplinada, y mucho que perder. Es improbable que este tipo de persona esté interesada en matar a un gran número de personas sin beneficio propio y con un gran riesgo para su propio futuro; tendrían que estar motivados por pura malicia, un profundo resentimiento o inestabilidad.
Tales personas existen, pero son raras y tienden a convertirse en grandes historias cuando ocurren, precisamente porque son muy inusuales.²²
También tienden a ser difíciles de atrapar porque son inteligentes y capaces, dejando a veces misterios que llevan años o décadas resolver. El ejemplo más famoso es probablemente el matemático Theodore Kaczynski (el Unabomber), quien evadió la captura del FBI durante casi 20 años y estaba impulsado por una ideología antitecnológica. Otro ejemplo es el investigador de biodefensa Bruce Ivins, quien parece haber orquestado una serie de ataques con ántrax en 2001. También ha ocurrido con organizaciones no estatales cualificadas: la secta Aum Shinrikyo logró obtener gas nervioso sarín y matar a 14 personas (además de herir a cientos más) al liberarlo en el metro de Tokio en 1995. Afortunadamente, ninguno de estos ataques utilizó agentes biológicos contagiosos, porque la capacidad de construir u obtener estos agentes estaba más allá de las capacidades de incluso estas personas.²³
Los avances en biología molecular han reducido ahora significativamente la barrera para crear armas biológicas (especialmente en términos de disponibilidad de materiales), pero aún se requiere una enorme cantidad de experiencia para hacerlo. Me preocupa que un genio en el bolsillo de todos pueda eliminar esa barrera, convirtiendo esencialmente a todo el mundo en un doctor en virología a quien se le puede guiar paso a paso a través del proceso de diseñar, sintetizar y liberar un arma biológica. Prevenir la obtención de este tipo de información frente a una presión adversarial seria —los llamados «jailbreaks»— probablemente exige capas de defensas más allá de las que ordinariamente se integran en el entrenamiento.
Crucialmente, esto romperá la correlación entre capacidad y motivo: el solitario perturbado que quiere matar gente pero carece de la disciplina o habilidad para hacerlo ahora será elevado al nivel de capacidad del doctor en virología, quien es improbable que tenga esta motivación. Esta preocupación se generaliza más allá de la biología (aunque creo que la biología es el área más aterradora) a cualquier área donde sea posible una gran destrucción pero que actualmente requiera un alto nivel de habilidad y disciplina. Para decirlo de otra manera, alquilar una IA potente le da inteligencia a personas maliciosas (pero por lo demás promedio). Me preocupa que potencialmente haya un gran número de tales personas por ahí, y que si tienen acceso a una forma fácil de matar a millones de personas, tarde o temprano una de ellas lo hará. Adicionalmente, aquellos que sí tienen experiencia pueden verse capacitados para cometer una destrucción a una escala aún mayor de la que podían antes.
La biología es con diferencia el área que más me preocupa, debido a su altísimo potencial de destrucción y la dificultad de defenderse contra ella, por lo que me centraré en la biología en particular. Pero mucho de lo que digo aquí se aplica a otros riesgos, como ciberataques, armas químicas o tecnología nuclear.
No voy a entrar en detalles sobre cómo hacer armas biológicas, por razones que deberían ser obvias. Pero a un nivel general, me preocupa que los LLM se estén acercando (o ya hayan alcanzado) el conocimiento necesario para crearlas y liberarlas de principio a fin, y que su potencial de destrucción sea muy alto. Algunos agentes biológicos podrían causar millones de muertes si se hiciera un esfuerzo decidido para liberarlos y lograr la máxima propagación. Sin embargo, esto todavía requeriría un nivel muy alto de habilidad, incluyendo una serie de pasos y procedimientos muy específicos que no son ampliamente conocidos. Mi preocupación no es meramente el conocimiento fijo o estático. Me preocupa que los LLM sean capaces de tomar a alguien de conocimiento y capacidad promedio y guiarlo de manera interactiva a través de un proceso complejo que de otro modo podría salir mal o requerir depuración, de forma similar a como el soporte técnico podría ayudar a una persona no técnica a depurar y solucionar problemas informáticos complicados (aunque este sería un proceso más extendido, que probablemente duraría semanas o meses).
LLMs más capaces (sustancialmente más allá del poder de los de hoy) podrían ser capaces de permitir actos aún más aterradores. En 2024, un grupo de destacados científicos escribió una carta advirtiendo sobre los riesgos de investigar, y potencialmente crear, un nuevo tipo peligroso de organismo: la «vida espejo». El ADN, el ARN, los ribosomas y las proteínas que componen los organismos biológicos tienen todos la misma quiralidad (también llamada «lateralidad») que hace que no sean equivalentes a una versión de sí mismos reflejada en el espejo (así como su mano derecha no se puede girar de manera que sea idéntica a su mano izquierda). Pero todo el sistema de proteínas uniéndose entre sí, la maquinaria de síntesis de ADN y traducción de ARN y la construcción y descomposición de proteínas, depende de esta lateralidad. Si los científicos hicieran versiones de este material biológico con la lateralidad opuesta —y hay algunas ventajas potenciales de esto, como medicamentos que duran más en el cuerpo—, podría ser extremadamente peligroso. Esto se debe a que la vida zurda, si se hiciera en forma de organismos completos capaces de reproducirse (lo cual sería muy difícil), sería potencialmente indigerible para cualquiera de los sistemas que descomponen el material biológico en la Tierra: tendría una «llave» que no encajaría en el «candado» de ninguna enzima existente. Esto significaría que podría proliferar de forma incontrolable y desplazar a toda la vida en el planeta, en el peor de los casos incluso destruyendo toda la vida en la Tierra.
Existe una sustancial incertidumbre científica tanto sobre la creación como sobre los efectos potenciales de la vida espejo. La carta de 2024 acompañaba a un informe que concluía que «las bacterias espejo plausiblemente podrían crearse en la próxima década o pocas décadas», lo cual es un rango amplio. Pero un modelo de IA suficientemente potente (para ser claros, mucho más capaz que cualquiera de los que tenemos hoy) podría descubrir cómo crearla mucho más rápidamente, y realmente ayudar a alguien a hacerlo.
Mi punto de vista es que, aunque estos son riesgos oscuros y pueden parecer improbables, la magnitud de las consecuencias es tan grande que deberían tomarse en serio como un riesgo de primera categoría de los sistemas de IA.
Los escépticos han planteado una serie de objeciones a la seriedad de estos riesgos biológicos de los LLM, con las que no estoy de acuerdo pero que vale la pena abordar. La mayoría cae en la categoría de no apreciar la trayectoria exponencial en la que se encuentra la tecnología. Allá por 2023, cuando empezamos a hablar sobre los riesgos biológicos de los LLM, los escépticos decían que toda la información necesaria estaba disponible en Google y que los LLM no añadían nada más allá de esto. Nunca fue cierto que Google pudiera darte toda la información necesaria: los genomas están disponibles libremente, pero como dije antes, ciertos pasos clave, así como una enorme cantidad de conocimientos prácticos, no se pueden obtener de esa manera. Pero además, para finales de 2023, los LLM claramente estaban proporcionando información más allá de lo que Google podía dar para algunos pasos del proceso.
Después de esto, los escépticos se retiraron a la objeción de que los LLM no eran útiles de principio a fin, y no podían ayudar con la adquisición de armas biológicas en lugar de simplemente proporcionar información teórica. A mediados de 2025, nuestras mediciones muestran que los LLM ya pueden estar proporcionando una mejora sustancial en varias áreas relevantes, tal vez duplicando o triplicando la probabilidad de éxito. Esto nos llevó a decidir que Claude Opus 4 (y los modelos posteriores Sonnet 4.5, Opus 4.1 y Opus 4.5) debían lanzarse bajo nuestras protecciones de Nivel 3 de Seguridad de IA en nuestro marco de Política de Escalado Responsable, y a implementar salvaguardas contra este riesgo (más sobre esto más adelante). Creemos que los modelos probablemente se están acercando ahora al punto en que, sin salvaguardas, podrían ser útiles para permitir que alguien con una licenciatura en STEM pero no específicamente en biología realice todo el proceso de producción de un arma biológica.
Otra objeción es que hay otras acciones no relacionadas con la IA que la sociedad puede tomar para bloquear la producción de armas biológicas. Principalmente, la industria de síntesis de genes fabrica especímenes biológicos a pedido, y no existe un requisito federal de que los proveedores analicen los pedidos para asegurarse de que no contengan patógenos. Un estudio del MIT encontró que 36 de 38 proveedores cumplimentaron un pedido que contenía la secuencia de la gripe de 1918. Apoyo la detección obligatoria de síntesis de genes que dificultaría a los individuos armar patógenos, con el fin de reducir tanto los riesgos biológicos impulsados por la IA como los riesgos biológicos en general. Pero esto no es algo que tengamos hoy. También sería solo una herramienta para reducir el riesgo; es un complemento a los rieles de protección en los sistemas de IA, no un sustituto.
La mejor objeción es una que raras veces he visto planteada: que hay una brecha entre que los modelos sean útiles en principio y la propensión real de los malos actores a usarlos. La mayoría de los malos actores individuales son personas perturbadas, por lo que casi por definición su comportamiento es impredecible e irracional, y son estos malos actores, los no cualificados, quienes más podrían haberse beneficiado de que la IA facilitara mucho el matar a muchas personas.²⁴
El simple hecho de que un tipo de ataque violento sea posible no significa que alguien decida hacerlo. Tal vez los ataques biológicos resulten poco atractivos porque es bastante probable que infecten al perpetrador, no atienden a las fantasías de estilo militar que tienen muchos individuos o grupos violentos, y es difícil dirigirse selectivamente a personas específicas. También podría ser que pasar por un proceso que lleva meses, incluso si una IA te guía a través de él, implique una cantidad de paciencia que la mayoría de las personas perturbadas simplemente no tienen. Es posible que simplemente tengamos suerte y el motivo y la capacidad no se combinen, en la práctica, de la manera correcta. Pero esta parece una protección muy débil en la que confiar. Los motivos de los solitarios perturbados pueden cambiar por cualquier motivo o sin motivo, y de hecho ya hay casos de LLM que se utilizan en ataques (solo que no con biología). El enfoque en los solitarios perturbados también ignora a los terroristas motivados ideológicamente, que a menudo están dispuestos a dedicar grandes cantidades de tiempo y esfuerzo (por ejemplo, los secuestradores del 11S). Querer matar a tantas personas como sea posible es un motivo que probablemente surgirá tarde o temprano, y desafortunadamente sugiere las armas biológicas como método. Incluso si este motivo es extremadamente raro, solo tiene que materializarse una vez. Y a medida que la biología avanza (cada vez más impulsada por la propia IA), también puede ser posible llevar a cabo ataques más selectivos (por ejemplo, dirigidos contra personas con ascendencias específicas), lo que añade otro motivo posible, muy espeluznante.
No creo que los ataques biológicos se lleven a cabo necesariamente en el instante en que sea ampliamente posible hacerlo; de hecho, apostaría en contra de eso. Pero sumado a través de millones de personas y unos pocos años de tiempo, creo que existe un riesgo serio de un ataque mayor, y las consecuencias serían tan graves (con víctimas potencialmente en millones o más) que creo que no tenemos más remedio que tomar medidas serias para prevenirlo.
Defensas
Eso nos lleva a cómo defenderse contra estos riesgos. Aquí veo tres cosas que podemos hacer. En primer lugar, las empresas de IA pueden poner rieles de protección en sus modelos para evitar que ayuden a producir armas biológicas. Anthropic está haciendo esto muy activamente. La Constitución de Claude, que se centra principalmente en principios y valores de alto nivel, tiene un pequeño número de prohibiciones estrictas específicas, y una de ellas se relaciona con ayudar en la producción de armas biológicas (o químicas, o nucleares, o radiológicas). Pero todos los modelos pueden sufrir un jailbreak, por lo que, como segunda línea de defensa, hemos implementado (desde mediados de 2025, cuando nuestras pruebas mostraron que nuestros modelos comenzaban a acercarse al umbral donde podrían comenzar a representar un riesgo) un clasificador que detecta y bloquea específicamente los resultados relacionados con armas biológicas. Actualizamos y mejoramos regularmente estos clasificadores, y generalmente hemos encontrado que son altamente robustos incluso contra ataques adversariales sofisticados.²⁵
Estos clasificadores aumentan de forma medible los costes de servicio de nuestros modelos (en algunos modelos, están cerca del 5% de los costes totales de inferencia) y, por lo tanto, reducen nuestros márgenes, pero sentimos que usarlos es lo correcto. Para su crédito, algunas otras empresas de IA también han implementado clasificadores. Pero no todas las empresas lo han hecho, y tampoco hay nada que exija a las empresas mantener sus clasificadores. Me preocupa que con el tiempo pueda haber un dilema del prisionero donde las empresas puedan desertar y reducir sus costes eliminando los clasificadores. Este es una vez más un problema clásico de externalidades negativas que no se puede resolver mediante las acciones voluntarias de Anthropic o de cualquier otra empresa por sí sola.²⁶
Los estándares industriales voluntarios pueden ayudar, al igual que las evaluaciones y la verificación por parte de terceros del tipo realizado por institutos de seguridad de IA y evaluadores externos. Pero, en última instancia, la defensa puede requerir la acción del gobierno, que es la segunda cosa que podemos hacer. Mis opiniones aquí son las mismas que para abordar los riesgos de autonomía: deberíamos comenzar con requisitos de transparencia,²⁷ que ayuden a la sociedad a medir, monitorear y defenderse colectivamente contra los riesgos sin interrumpir la actividad económica de manera dura. Luego, si alcanzamos y cuando alcancemos umbrales de riesgo más claros, podemos elaborar legislación que apunte de manera más precisa a estos riesgos y tenga una menor probabilidad de daños colaterales. En el caso particular de las armas biológicas, realmente creo que el momento para tal legislación dirigida puede estar acercándose pronto: Anthropic y otras empresas están aprendiendo cada vez más sobre la naturaleza de los riesgos biológicos y lo que es razonable exigir a las empresas para defenderse de ellos. Defenderse completamente contra estos riesgos puede requerir trabajar a nivel internacional, incluso con adversarios geopolíticos, pero hay precedentes en tratados que prohíben el desarrollo de armas biológicas. Generalmente soy escéptico sobre la mayoría de los tipos de cooperación internacional en IA, pero esta puede ser una área estrecha donde hay alguna posibilidad de lograr una restricción global. Incluso las dictaduras no quieren ataques bioterroristas masivos. Finalmente, la tercera contramedida que podemos tomar es intentar desarrollar defensas contra los propios ataques biológicos. Esto podría incluir monitoreo y seguimiento para la detección temprana, inversiones en I+D de purificación de aire (como la desinfección por UVC lejano), desarrollo rápido de vacunas que puedan responder y adaptarse a un ataque, mejor equipo de protección individual (EPI),²⁸ y tratamientos o vacunaciones para algunos de los agentes biológicos más probables. Las vacunas de ARNm, que pueden diseñarse para responder a un virus o variante particular, son un ejemplo temprano de lo que es posible aquí.
Anthropic está entusiasmada de trabajar con empresas biotecnológicas y farmacéuticas en este problema. Pero desafortunadamente creo que nuestras expectativas en el lado defensivo deberían ser limitadas. Existe una asimetría entre ataque y defensa en biología, porque los agentes se propagan rápidamente por sí solos, mientras que las defensas requieren que la detección, la vacunación y el tratamiento se organicen en un gran número de personas muy rápidamente en respuesta. A menos que la respuesta sea ultrarrápida (lo cual rara vez ocurre), gran parte del daño se habrá hecho antes de que sea posible una respuesta. Es concebible que futuras mejoras tecnológicas puedan inclinar este equilibrio a favor de la defensa (y ciertamente deberíamos usar la IA para ayudar a desarrollar tales avances tecnológicos), pero hasta entonces, las salvaguardas preventivas serán nuestra principal línea de defensa. Vale la pena hacer una breve mención de los ciberataques aquí, ya que a diferencia de los ataques biológicos, los ciberataques dirigidos por IA realmente han ocurrido en el mundo real, incluso a gran escala y para el espionaje patrocinado por estados. Esperamos que estos ataques se vuelvan más capaces a medida que los modelos avancen rápidamente, hasta que sean la forma principal en que se lleven a cabo los ciberataques. Espero que los ciberataques dirigidos por IA se conviertan en una amenaza seria y sin precedentes para la integridad de los sistemas informáticos en todo el mundo, y Anthropic está trabajando muy duro para detener estos ataques y, con el tiempo, prevenirlos de manera confiable. La razón por la que no me he centrado tanto en los ciberataques como en la biología es que (1) es mucho menos probable que los ciberataques maten a personas, ciertamente no a la escala de los ataques biológicos, y (2) el equilibrio entre ataque y defensa puede ser más manejable en el ámbito cibernético, donde existe al menos alguna esperanza de que la defensa pueda mantenerse al día (e incluso idealmente superar) al ataque de la IA si invertimos adecuadamente en ello.
Aunque la biología es actualmente el vector de ataque más serio, existen muchos otros vectores y es posible que surja uno más peligroso. El principio general es que, sin contramedidas, es probable que la IA reduzca continuamente la barrera para la actividad destructiva a una escala cada vez mayor, y la humanidad necesita una respuesta seria a esta amenaza.
3. El nefasto aparato
Uso indebido para la toma del poder
En la sección anterior se debatió el riesgo de que individuos y pequeñas organizaciones cooptaran un pequeño subconjunto del «país de genios en un centro de datos» para causar una destrucción a gran escala. Pero también deberíamos preocuparnos —probablemente de forma sustancialmente mayor— por el uso indebido de la IA con el propósito de ejercer o apoderarse del poder, probablemente por parte de actores más grandes y consolidados.²⁹
En Machines of Loving Grace, hablé sobre la posibilidad de que los gobiernos autoritarios utilicen una IA potente para vigilar o reprimir a sus ciudadanos de formas que serían extremadamente difíciles de reformar o derrocar. Las autocracias actuales están limitadas en lo represivas que pueden ser por la necesidad de contar con humanos para ejecutar sus órdenes, y los humanos a menudo tienen límites en lo inhumanos que están dispuestos a ser. Pero las autocracias impulsadas por IA no tendrían tales límites.
Peor aún, los países también podrían utilizar su ventaja en IA para ganar poder sobre otros países. Si el «país de genios» en su conjunto fuera simplemente propiedad y estuviera controlado por el aparato militar de un solo país (humano), y otros países no tuvieran capacidades equivalentes, es difícil ver cómo podrían defenderse: serían superados en astucia en cada paso, de forma similar a una guerra entre humanos y ratones. Reunir estas dos preocupaciones conduce a la alarmante posibilidad de una dictadura totalitaria global. Obviamente, debería ser una de nuestras mayores prioridades evitar este resultado.
Hay muchas formas en que la IA podría permitir, afianzar o expandir la autocracia, pero enumeraré algunas de las que más me preocupan. Nótese que algunas de estas aplicaciones tienen usos defensivos legítimos, y no estoy necesariamente argumentando en su contra en términos absolutos; no obstante, me preocupa que estructuralmente tiendan a favorecer a las autocracias:
l Armas totalmente autónomas. Un enjambre de millones o miles de millones de drones armados totalmente automatizados, controlados localmente por una IA potente y coordinados estratégicamente en todo el mundo por una IA aún más potente, podría ser un ejército invencible, capaz tanto de derrotar a cualquier ejército del mundo como de reprimir la disidencia dentro de un país siguiendo a cada ciudadano. Los acontecimientos en la guerra ruso-ucraniana deberían alertarnos sobre el hecho de que la guerra con drones ya está entre nosotros (aunque todavía no sea totalmente autónoma, y sea una diminuta fracción de lo que podría ser posible con una IA potente). La I+D procedente de una IA potente podría hacer que los drones de un país sean muy superiores a los de otros, acelerar su fabricación, hacerlos más resistentes a los ataques electrónicos, mejorar sus maniobras, etc. Por supuesto, estas armas también tienen usos legítimos en la defensa de la democracia: han sido clave para defender a Ucrania y probablemente serían clave para defender a Taiwán. Pero son un arma peligrosa de empuñar: deberíamos preocuparnos por ellas en manos de autocracias, pero también preocuparnos de que, al ser tan potentes y tener tan poca rendición de cuentas, exista un riesgo enormemente mayor de que los gobiernos democráticos las vuelvan contra su propio pueblo para apoderarse del poder.
l Vigilancia por IA. Una IA lo suficientemente potente probablemente podría usarse para comprometer cualquier sistema informático del mundo,³⁰ y también podría usar el acceso obtenido de esta manera para leer y dar sentido a todas las comunicaciones electrónicas del mundo (o incluso a todas las comunicaciones presenciales del mundo, si se pueden construir o requisar dispositivos de grabación). Podría ser aterradoramente plausible generar simplemente una lista completa de cualquiera que no esté de acuerdo con el gobierno en cualquier número de temas, incluso si dicho desacuerdo no es explícito en nada de lo que dicen o hacen. Una IA potente que examine miles de millones de conversaciones de millones de personas podría evaluar el sentimiento público, detectar focos de deslealtad en formación y aplastarlos antes de que crezcan. Esto podría llevar a la imposición de un verdadero panóptico a una escala que no vemos hoy, ni siquiera con el PCCh.
l Propaganda por IA. Los fenómenos actuales de la «psicosis por IA» y las «novias de IA» sugieren que, incluso en su nivel actual de inteligencia, los modelos de IA pueden tener una poderosa influencia psicológica en las personas. Versiones mucho más potentes de estos modelos, que estuvieran mucho más integradas y al tanto de la vida cotidiana de las personas y pudieran modelarlas e influir en ellas a lo largo de meses o años, probablemente serían capaces de lavar el cerebro esencialmente a muchas (¿a la mayoría?) personas para que adopten cualquier ideología o actitud deseada, y podrían ser empleadas por un líder sin escrúpulos para asegurar la lealtad y reprimir la disidencia, incluso ante un nivel de represión contra el que la mayoría de las poblaciones se rebelarían. Hoy en día la gente se preocupa mucho por, por ejemplo, la influencia potencial de TikTok como propaganda del PCCh dirigida a los niños. A mí también me preocupa eso, pero un agente de IA personalizado que te va conociendo a lo largo de los años y utiliza su conocimiento sobre ti para moldear todas tus opiniones sería drásticamente más potente que esto.
l Toma de decisiones estratégicas. Un país de genios en un centro de datos podría usarse para asesorar a un país, grupo o individuo sobre estrategia geopolítica, lo que podríamos llamar un «Bismarck virtual». Podría optimizar las tres estrategias anteriores para tomar el poder, además de probablemente desarrollar muchas otras en las que no he pensado (pero que un país de genios sí podría). Es probable que la efectividad de la diplomacia, la estrategia militar, la I+D, la estrategia económica y muchas otras áreas aumente sustancialmente gracias a una IA potente. Muchas de estas habilidades serían legítimamente útiles para las democracias —queremos que las democracias tengan acceso a las mejores estrategias para defenderse de las autocracias—, pero el potencial de uso indebido en manos de cualquiera sigue existiendo.
Habiendo descrito lo que me preocupa, pasemos a quién. Me preocupan las entidades que tienen el mayor acceso a la IA, que parten de una posición de mayor poder político o que tienen un historial existente de represión. En orden de gravedad, me preocupan:
l El PCCh. China ocupa el segundo lugar después de Estados Unidos en capacidades de IA, y es el país con la mayor probabilidad de superar a Estados Unidos en esas capacidades. Su gobierno es actualmente autocrático y opera un estado de vigilancia de alta tecnología. Ya ha desplegado vigilancia basada en IA (incluso en la represión de los uigures) y se cree que emplea propaganda algorítmica a través de TikTok (además de sus muchos otros esfuerzos de propaganda internacional). Tienen sin duda el camino más claro hacia la pesadilla totalitaria impulsada por IA que expuse anteriormente. Incluso puede ser el resultado por defecto dentro de China, así como dentro de otros estados autocráticos a los que el PCCh exporta tecnología de vigilancia. He escrito a menudo sobre la amenaza de que el PCCh tome la delantera en IA y el imperativo existencial de evitar que lo haga. Por esto es. Para ser claros, no estoy señalando a China por animadversión hacia ellos en particular: son simplemente el país que más combina la destreza en IA, un gobierno autocrático y un estado de vigilancia de alta tecnología. En todo caso, son los propios ciudadanos chinos quienes tienen más probabilidades de sufrir la represión impulsada por IA del PCCh, y no tienen voz en las acciones de su gobierno. Admiro y respeto enormemente al pueblo chino y apoyo a los muchos valientes disidentes dentro de China y su lucha por la libertad.
l Las democracias competitivas en IA. Como escribí anteriormente, las democracias tienen un interés legítimo en algunas herramientas militares y geopolíticas impulsadas por IA, porque los gobiernos democráticos ofrecen la mejor oportunidad para contrarrestar el uso de estas herramientas por parte de las autocracias. En términos generales, estoy a favor de armar a las democracias con las herramientas necesarias para derrotar a las autocracias en la era de la IA; simplemente no creo que haya otra manera. Pero no podemos ignorar el potencial de abuso de estas tecnologías por parte de los propios gobiernos democráticos. Las democracias normalmente tienen salvaguardas que impiden que su aparato militar y de inteligencia se vuelva hacia adentro contra su propia población,³¹ pero debido a que las herramientas de IA requieren muy pocas personas para operar, existe el potencial de que eludan estas salvaguardas y las normas que las respaldan. También vale la pena señalar que algunas de estas salvaguardas ya se están erosionando gradualmente en algunas democracias. Por lo tanto, deberíamos armar a las democracias con IA, pero deberíamos hacerlo con cuidado y dentro de unos límites: son el sistema inmunitario que necesitamos para combatir a las autocracias, pero al igual que el sistema inmunitario, existe cierto riesgo de que se vuelvan contra nosotros y se conviertan en una amenaza en sí mismas.
l Los países no democráticos con grandes centros de datos. Más allá de China, la mayoría de los países con una gobernanza menos democrática no son actores principales en IA en el sentido de que no tienen empresas que produzcan modelos de IA de frontera. Por lo tanto, plantean un riesgo fundamentalmente diferente y menor que el PCCh, que sigue siendo la principal preocupación (la mayoría también son menos represivos, y los que son más represivos, como Corea del Norte, no tienen ninguna industria de IA significativa en absoluto). Pero algunos de estos países sí tienen grandes centros de datos (a menudo como parte de ampliaciones realizadas por empresas que operan en democracias), que pueden usarse para ejecutar IA de frontera a gran escala (aunque esto no otorga la capacidad de hacer avanzar la frontera). Hay cierta cantidad de peligro asociado con esto: en principio, estos gobiernos podrían expropiar los centros de datos y utilizar el país de IAs que contienen para sus propios fines. Me preocupa menos esto en comparación con países como China que desarrollan IA directamente, pero es un riesgo a tener en cuenta.³²
l Las empresas de IA. Resulta un poco incómodo decir esto como CEO de una empresa de IA, pero creo que el siguiente nivel de riesgo son en realidad las propias empresas de IA. Las empresas de IA controlan grandes centros de datos, entrenan modelos de frontera, tienen la mayor experiencia sobre cómo usar esos modelos y, en algunos casos, tienen Contacto diario y la posibilidad de influir en decenas o cientos de millones de usuarios. Lo principal de lo que carecen es de la legitimidad y la infraestructura de un estado, por lo que mucho de lo que se necesitaría para construir las herramientas de una autocracia de IA sería ilegal para una empresa de IA, o al menos sumamente sospechoso. Pero parte de ello no es imposible: podrían, por ejemplo, usar sus productos de IA para lavar el cerebro a su masiva base de usuarios consumidores, y el público debería estar alerta al riesgo que esto representa. Creo que la gobernanza de las empresas de IA merece un gran escrutinio.
Hay una serie de posibles argumentos en contra de la gravedad de estas amenazas, y ojalá los creyera, porque el autoritarismo impulsado por IA me aterroriza. Vale la pena repasar algunos de estos argumentos y responder a ellos.
En primer lugar, algunas personas podrían depositar su fe en la disuasión nuclear, particularmente para contrarrestar el uso de armas autónomas de IA para la conquista militar. Si alguien amenaza con usar estas armas contra ti, siempre puedes amenazar con una respuesta nuclear a cambio. Mi preocupación es que no estoy totalmente seguro de que podamos confiar en la disuasión nuclear contra un país de genios en un centro de datos: es posible que una IA potente pueda idear formas de detectar y atacar submarinos nucleares, llevar a cabo operaciones de influencia contra los operadores de la infraestructura de armas nucleares o utilizar las capacidades cibernéticas de la IA para lanzar un ciberataque contra los satélites utilizados para detectar lanzamientos nucleares.³³ Alternativamente, es posible que apoderarse de países sea factible solo con vigilancia por IA y propaganda por IA, y nunca presente realmente un momento claro donde sea obvio lo que está sucediendo y donde una respuesta nuclear sea apropiada. Tal vez estas cosas no sean factibles y la disuasión nuclear siga siendo efectiva, pero parece un riesgo demasiado elevado como para asumirlo.³⁴
Una segunda posible objeción es que podría haber contramedidas que podamos tomar contra estas herramientas de la autocracia. Podemos contrarrestar los drones con nuestros propios drones, la ciberdefensa mejorará junto con el ciberataque, puede haber formas de inmunizar a las personas contra la propaganda, etc. Mi respuesta es que estas defensas solo serán posibles con una IA comparablemente potente. Si no hay alguna fuerza de contrapeso con un país de genios comparablemente inteligente y numeroso en un centro de datos, no será posible igualar la calidad o cantidad de drones, que la ciberdefensa supere en astucia al ciberataque, etc. Por lo tanto, la cuestión de las contramedidas se reduce a la cuestión de un equilibrio de poder en la IA potente. Aquí, me preocupa la propiedad recursiva o de autorrefuerzo de la IA potente (que discutí al comienzo de este ensayo): que cada generación de IA se pueda usar para diseñar y entrenar a la siguiente generación de IA. Esto lleva a un riesgo de una ventaja desbocada, donde el líder actual en IA potente pueda aumentar su ventaja y sea difícil de alcanzar. Debemos asegurarnos de que no sea un país autoritario el que llegue primero a este bucle.
Además, incluso si se puede lograr un equilibrio de poder, todavía existe el riesgo de que el mundo pueda dividirse en esferas autocráticas, como en 1984. Incluso si varias potencias competidoras tienen cada una sus propios modelos de IA potentes y ninguna puede dominar a las demás, cada potencia aún podría reprimir internamente a su propia población y sería muy difícil de derrocar (ya que las poblaciones no tienen una IA potente para defenderse). Por lo tanto, es importante prevenir la autocracia impulsada por IA incluso si no conduce a que un solo país se apodere del mundo.
Defensas
¿Cómo nos defendemos contra esta amplia gama de herramientas autocráticas y potenciales actores de amenaza? Como en las secciones anteriores, creo que hay varias cosas que podemos hacer. En primer lugar, no deberíamos bajo ninguna circunstancia vender chips, herramientas de fabricación de chips o centros de datos al PCCh. Los chips y las herramientas de fabricación de chips son el cuello de botella más grande para la IA potente, y bloquearlos es una medida simple pero extremadamente efectiva, tal vez la acción individual más importante que podemos tomar. No tiene sentido vender al PCCh las herramientas con las que construir un estado totalitario de IA y posiblemente conquistarnos militarmente. Se presentan una serie de argumentos complicados para justificar tales ventas, como la idea de que «extender nuestra pila tecnológica por todo el mundo» permite a «Estados Unidos ganar» en alguna batalla económica general no especificada. En mi opinión, esto es como vender armas nucleares a Corea del Norte y luego presumir de que los carcasas de los misiles están fabricados por Boeing y, por lo tanto, EE.UU. está «ganando». China está varios años por detrás de EE.UU. en su capacidad para producir chips de frontera en cantidad, y el período crítico para construir el país de genios en un centro de datos es muy probable que se sitúe dentro de esos próximos años.³⁵ No hay razón para dar un impulso gigante a su industria de IA durante este período crítico.
En segundo lugar, tiene sentido utilizar la IA para capacitar a las democracias para resistir a las autocracias. Esta es la razón por la que Anthropic considera importante proporcionar IA a las comunidades de inteligencia y defensa de los EE.UU. y sus aliados democráticos. Defender a las democracias que están bajo ataque, como Ucrania y (a través de ciberataques) Taiwán, parece de una prioridad especialmente alta, al igual que capacitar a las democracias para que utilicen sus servicios de inteligencia para desestabilizar y degradar a las autocracias desde el interior. Hasta cierto punto, la única forma de responder a las amenazas autocráticas es igualarlas y superarlas militarmente. Una coalición de los EE.UU. y sus aliados democráticos, si alcanzara la predominancia en IA potente, estaría en posición no solo de defenderse contra las autocracias, sino de contenerlas y limitar sus abusos totalitarios de IA.
En tercer lugar, debemos trazar una línea firme contra los abusos de la IA dentro de las democracias. Debe haber límites a lo que permitimos que nuestros gobiernos hagan con la IA, para que no se apoderen del poder o repriman a su propio pueblo. La formulación que he ideado es que deberíamos usar la IA para la defensa nacional de todas las formas excepto en aquellas que nos hagan parecer más a nuestros adversarios autocráticos.
¿Dónde se debería trazar la línea? En la lista al principio de esta sección, dos elementos —usar la IA para la vigilancia masiva doméstica y la propaganda masiva— me parecen líneas rojas brillantes y totalmente ilegítimas. Algunos podrían argumentar que no hay necesidad de hacer nada (al menos en los EE.UU.), ya que la vigilancia masiva doméstica ya es ilegal bajo la Cuarta Enmienda. Pero el rápido progreso de la IA puede crear situaciones que nuestros marcos legales existentes no están bien diseñados para manejar. Por ejemplo, probablemente no sería inconstitucional que el gobierno de los EE.UU. llevara a cabo grabaciones a escala masiva de todas las conversaciones públicas (por ejemplo, cosas que la gente se dice en la esquina de una calle), y anteriormente habría sido difícil clasificar este volumen de información, pero con la IA todo podría ser transcrito, interpretado y triangulado para crear una imagen de la actitud y lealtades de muchos o la mayoría de los ciudadanos. Apoyaría una legislación centrada en las libertades civiles (o tal vez incluso una enmienda constitucional) que imponga rieles de protección más fuertes contra los abusos impulsados por IA.
Los otros dos elementos —armas totalmente autónomas e IA para la toma de decisiones estratégicas— son líneas más difíciles de trazar, ya que tienen usos legítimos en la defensa de la democracia, al tiempo que son propensos al abuso. Aquí creo que lo que se justifica es una extrema precaución y escrutinio combinados con rieles de protección para prevenir abusos. Mi principal temor es tener un número demasiado pequeño de «dedos en el botón», de modo que una o un puñado de personas puedan operar esencialmente un ejército de drones sin necesidad de que ningún otro humano coopere para ejecutar sus órdenes. A medida que los sistemas de IA se vuelvan más potentes, es posible que necesitemos tener mecanismos de supervisión más directos e inmediatos para garantizar que no se utilicen de forma indebida, quizás involucrando a poderes del gobierno distintos del ejecutivo. Creo que deberíamos abordar las armas totalmente autónomas en particular con gran cautela,³⁶ y no precipitarnos en su uso sin las salvaguardas adecuadas.
En cuarto lugar, tras trazar una línea firme contra los abusos de la IA en las democracias, deberíamos utilizar ese precedente para crear un tabú internacional contra los peores abusos de la IA potente. Reconozco que los vientos políticos actuales se han vuelto en contra de la cooperación internacional y las normas internacionales, pero este es un caso en el que las necesitamos encarecidamente. El mundo necesita comprender el oscuro potencial de la IA potente en manos de autócratas, y reconocer que ciertos usos de la IA equivalen a un intento de robar permanentemente su libertad e imponer un estado totalitario del que no pueden escapar. Incluso argumentaría que, en algunos casos, la vigilancia a gran escala con IA potente, la propaganda masiva con IA potente y ciertos tipos de usos ofensivos de armas totalmente autónomas deberían considerarse crímenes contra la humanidad. Más generalmente, se necesita urgentemente una norma sólida contra el totalitarismo impulsado por la IA y todos sus instrumentos y herramientas.
Es posible tener una versión aún más fuerte de esta postura, que es que, debido a que las posibilidades del totalitarismo impulsado por la IA son tan oscuras, la autocracia simplemente no es una forma de gobierno que la gente pueda aceptar en la era posterior a la IA potente. Así como el feudalismo se volvió inviable con la revolución industrial, la era de la IA podría llevar inevitable y lógicamente a la conclusión de que la democracia (y, con suerte, la democracia mejorada y revigorizada por la IA, como discuto en Machines of Loving Grace) es la única forma viable de gobierno si la humanidad ha de tener un buen futuro.
En quinto y último lugar, se debe vigilar atentamente a las empresas de IA, así como su conexión con el gobierno, la cual es necesaria, pero debe tener límites y fronteras. La gran cantidad de capacidad encarnada en la IA potente es tal que es poco probable que la gobernanza corporativa ordinaria —diseñada para proteger a los accionistas y prevenir abusos ordinarios como el fraude— esté a la altura de la tarea de gobernar a las empresas de IA. También puede haber valor en que las empresas se comprometan públicamente (tal vez incluso como parte de la gobernanza corporativa) a no tomar ciertas acciones, como construir o acumular privadamente material militar, usar grandes cantidades de recursos de cómputo por parte de individuos aislados de forma irresponsable, o usar sus productos de IA como propaganda para manipular la opinión pública a su favor.
El peligro aquí proviene de muchas direcciones, y algunas direcciones están en tensión con otras. La única constante es que debemos buscar la rendición de cuentas, normas y rieles de protección para todos, incluso mientras capacitamos a los actores «buenos» para mantener a los actores «malos» bajo control.
4. Piano mecánico
Disrupción económica
Las tres secciones anteriores trataban esencialmente sobre los riesgos de seguridad que plantea una IA potente: riesgos procedentes de la propia IA, riesgos por uso indebido por parte de individuos y pequeñas organizaciones, y riesgos de uso indebido por parte de estados y grandes organizaciones. Si dejamos de lado los riesgos de seguridad o asumimos que se han resuelto, la siguiente cuestión es económica. ¿Cuál será el efecto de esta infusión de un increíble capital «humano» en la economía? Evidentemente, el efecto más obvio será aumentar enormemente el crecimiento económico. El ritmo de los avances en la investigación científica, la innovación biomédica, la fabricación, las cadenas de suministro, la eficiencia del sistema financiero y mucho más casi garantizan un ritmo de crecimiento económico mucho más rápido. En Machines of Loving Grace, sugiero que puede ser posible una tasa sostenida de crecimiento anual del PIB del 10 al 20%.
Pero debe quedar claro que se trata de un arma de doble filo: ¿cuáles son las perspectivas económicas para la mayoría de los seres humanos existentes en un mundo así? Las nuevas tecnologías suelen traer consigo perturbaciones en el mercado laboral, y en el pasado los seres humanos siempre se han recuperado de ellas, pero me preocupa que esto se deba a que estas perturbaciones anteriores solo afectaron a una pequeña fracción de toda la gama posible de habilidades humanas, dejando espacio para que los humanos se expandieran hacia nuevas tareas. La IA tendrá efectos mucho más amplios y se producirán mucho más rápido, por lo que me preocupa que sea mucho más difícil conseguir que las cosas salgan bien.
Disrupción del mercado laboral
Hay dos problemas específicos que me preocupan: el desplazamiento del mercado laboral y la concentración del poder económico. Empecemos por el primero. Este es un tema sobre el que advertí públicamente en 2025, donde predije que la IA podría desplazar a la mitad de todos los empleos de oficina de nivel inicial en los próximos 1 a 5 años, incluso mientras acelera el crecimiento económico y el progreso científico. Esta advertencia inició un debate público sobre el tema. Muchos CEO, tecnólogos y economistas estuvieron de acuerdo conmigo, pero otros asumieron que estaba cayendo en la falacia de la «cantidad fija de trabajo» (lump of labor) y que no sabía cómo funcionaban los mercados laborales, y algunos no vieron el rango de tiempo de 1 a 5 años y pensaron que estaba afirmando que la IA está desplazando empleos en este preciso momento (lo cual estoy de acuerdo en que probablemente no sea así). Así que vale la pena detallar por qué me preocupa el desplazamiento laboral, para aclarar estos malos entendidos.
Como punto de partida, es útil entender cómo responden normalmente los mercados laborales a los avances tecnológicos. Cuando surge una nueva tecnología, empieza haciendo más eficientes partes de un trabajo humano determinado. Por ejemplo, a principios de la Revolución Industrial, las máquinas, como los arados perfeccionados, permitieron a los agricultores humanos ser más eficientes en algunos aspectos del trabajo. Esto mejoró la productividad de los agricultores, lo que aumentó sus salarios.
En el siguiente paso, algunas partes del trabajo de la agricultura pudieron ser realizadas enteramente por máquinas, por ejemplo con la invención de la trilladora o la sembradora. En esta fase, los humanos realizaban una fracción cada vez menor del trabajo, pero el trabajo que sí completaban se volvió cada vez más multiplicado porque es complementario al trabajo de las máquinas, y su productividad continuó aumentando. Como describe la paradoja de Jevons, los salarios de los agricultores e incluso el número de agricultores continuaron aumentando. Incluso cuando el 90% del trabajo lo realizan las máquinas, los humanos simplemente pueden hacer 10 veces más del 10% que todavía hacen, produciendo 10 veces más rendimiento por la misma cantidad de trabajo.
Con el tiempo, las máquinas lo hacen todo o casi todo, como ocurre con las cosechadoras combinadas modernas, los tractores y otros equipos. En este punto, la agricultura como forma de empleo humano entra realmente en un marcado declive, y esto causa potencialmente una grave perturbación a corto plazo, pero debido a que la agricultura es solo una de las muchas actividades útiles que los humanos pueden hacer, las personas terminan cambiando a otros empleos, como operar máquinas de fábrica. Esto es cierto a pesar de que la agricultura representaba una enorme proporción del empleo ex ante. Hace 250 años, el 90% de los estadounidenses vivía en granjas; en Europa, el 50-60% del empleo era agrícola. Ahora esos porcentajes están en dígitos individuales bajos en esos lugares, porque los trabajadores cambiaron a trabajos industriales (y más tarde, a trabajos de conocimiento). La economía puede hacer lo que antes requería a la mayor parte de la fuerza laboral con solo el 1-2% de ella, liberando al resto de la fuerza laboral para construir una sociedad industrial cada vez más avanzada. No hay una «cantidad fija de trabajo», solo una capacidad en constante expansión de hacer cada vez más con cada vez menos. Los salarios de las personas aumentan en línea con la exponencial del PIB y la economía mantiene el pleno empleo una vez que han pasado las perturbaciones a corto plazo.
Es posible que las cosas vayan de forma parecida con la IA, pero apostaría bastante fuerte en contra. Aquí hay algunas razones por las que creo que es probable que la IA sea diferente:
l Velocidad. El ritmo de progreso en la IA es mucho más rápido que en las revoluciones tecnológicas anteriores. Por ejemplo, en los últimos 2 años, los modelos de IA pasaron de apenas poder completar una sola línea de código a escribir todo o casi todo el código para algunas personas, incluidos ingenieros de Anthropic.³⁷ Pronto, podrán hacer toda la tarea de un ingeniero de software de principio a fin.³⁸ A la gente le resulta difícil adaptarse a este ritmo de cambio, tanto a los cambios en cómo funciona un trabajo determinado como a la necesidad de cambiar a nuevos trabajos. Incluso programadores legendarios se describen cada vez más a sí mismos como «atrasados». En todo caso, el ritmo puede continuar acelerándose, a medida que los modelos de código de IA aceleran cada vez más la tarea del desarrollo de la IA. Para ser claros, la velocidad en sí misma no significa que los mercados laborales y el empleo no se recuperen eventualmente, solo implica que la transición a corto plazo será inusualmente dolorosa en comparación con las tecnologías pasadas, dado que los humanos y los mercados laborales son lentos para reaccionar y equilibrarse.
l Amplitud cognitiva. Como sugiere la frase «un país de genios en un centro de datos», la IA será capaz de una gama muy amplia de habilidades cognitivas humanas, tal vez todas ellas. Esto es muy diferente de tecnologías anteriores como la agricultura mecanizada, el transporte o incluso los ordenadores.³⁹ Esto hará que sea más difícil para las personas cambiar fácilmente de empleos desplazados a empleos similares para los que serían idóneos. Por ejemplo, las habilidades intelectuales generales requeridas para los puestos de nivel inicial en, digamos, finanzas, consultoría y derecho son bastante similares, incluso si el conocimiento específico es bastante diferente. Una tecnología que solo perturbara uno de estos tres permitiría a los empleados cambiar a los otros dos sustitutos cercanos (o a los estudiantes universitarios cambiar de especialización). Pero perturbar los tres a la vez (junto con muchos otros empleos similares) puede ser más difícil de adaptar para las personas. Además, no se trata solo de que la mayoría de los empleos existentes se verán perturbados. Esa parte ha ocurrido antes; recuerde que la agricultura era un enorme porcentaje del empleo. Pero los agricultores podían cambiar al trabajo relativamente similar de operar máquinas de fábrica, aunque ese trabajo no hubiera sido común antes. Por el contrario, la IA iguala cada vez más el perfil cognitivo general de los humanos, lo que significa que también será buena en los nuevos empleos que ordinariamente se crearían en respuesta a la automatización de los antiguos. Otra forma de decirlo es que la IA no es un sustituto de trabajos humanos específicos, sino un sustituto laboral general para los humanos.
l Segmentación por capacidad cognitiva. En una amplia gama de tareas, la IA parece estar avanzando desde la parte inferior de la escala de capacidad hacia la parte superior. Por ejemplo, en la programación nuestros modelos han pasado del nivel de «un programador mediocre» a «un programador fuerte» y a «un programador muy fuerte».⁴⁰ Ahora estamos empezando a ver la misma progresión en el trabajo de oficina en general. Por lo tanto, corremos el riesgo de llegar a una situación en la que, en lugar de afectar a personas con habilidades específicas o en profesiones específicas (que pueden adaptarse reciclándose), la IA afecte a personas con ciertas propiedades cognitivas intrínsecas, a saber, una menor capacidad intelectual (que es más difícil de cambiar). No está claro adónde irán estas personas o qué harán, y me preocupa que puedan formar una «subclase» desempleada o de salarios muy bajos. Para ser claros, cosas parecidas a esta han sucedido antes; por ejemplo, algunos economistas consideran que los ordenadores e Internet representan un «cambio tecnológico sesgado hacia la cualificación». Pero este sesgo hacia la cualificación no fue tan extremo como lo que espero ver con la IA, y se cree que contribuyó a un aumento de la desigualdad salarial,⁴¹ por lo que no es exactamente un precedente tranquilizador.
l Capacidad para llenar los vacíos. La forma en que a menudo se ajustan los empleos humanos ante una nueva tecnología es que hay muchos aspectos en el trabajo, y la nueva tecnología, incluso si parece reemplazar directamente a los humanos, a menudo tiene vacíos. Si alguien inventa una máquina para hacer piezas, es posible que los humanos todavía tengan que cargar la materia prima en la máquina. Incluso si eso requiere solo el 1% del esfuerzo que suponía hacer las piezas manualmente, los trabajadores humanos pueden simplemente hacer 100 veces más piezas. Pero la IA, además de ser una tecnología que avanza rápidamente, es también una tecnología que se adapta rápidamente. Durante el lanzamiento de cada modelo, las empresas de IA miden cuidadosamente en qué es bueno el modelo y en qué no, y los clientes también proporcionan dicha información tras el lanzamiento. Las debilidades se pueden solucionar recopilando tareas que encarnen el vacío actual y entrenando sobre ellas para el siguiente modelo. A principios de la IA generativa, los usuarios notaron que los sistemas de IA tenían ciertas debilidades (como los modelos de imágenes de IA que generaban manos con un número incorrecto de dedos) y muchos asumieron que estas debilidades eran inherentes a la tecnología. Si lo fueran, limitarían la perturbación laboral. Pero casi todas esas debilidades se solucionan rápidamente; a menudo, en solo unos pocos meses.
Vale la pena abordar los puntos comunes de escepticismo. En primer lugar, existe el argumento de que la difusión económica será lenta, de modo que incluso si la tecnología subyacente es capaz de realizar la mayor parte del trabajo humano, la aplicación real de la misma a través de la economía puede ser mucho más lenta (por ejemplo, en industrias que están lejos de la industria de la IA y son lentas para adoptarla). La lenta difusión de la tecnología es definitivamente real; hablo con gente de una gran variedad de empresas y hay lugares donde la adopción de la IA tardará años. Es por eso que mi predicción de que el 50% de los empleos de oficina de nivel inicial se verán perturbados es de 1 a 5 años, aunque sospecho que tendremos una IA potente (que sería, tecnológicamente hablando, suficiente para realizar la mayoría o la totalidad de los empleos, no solo los de nivel inicial) en mucho menos de 5 años. Pero los efectos de difusión simplemente nos ganan tiempo. Y no confío en que sean tan lentos como la gente predice. La adopción de la IA por parte de las empresas está creciendo a ritmos mucho más rápidos que cualquier tecnología anterior, en gran medida por la pura fuerza de la tecnología en sí. Además, incluso si las empresas tradicionales son lentas para adoptar nueva tecnología, surgirán startups para servir de «pegamento» y facilitar la adopción. Si eso no funciona, las startups simplemente pueden perturbar a los actores consolidados directamente.
Eso podría llevar a un mundo donde no se trata tanto de que se perturben trabajos específicos, sino de que las grandes empresas se perturben en general y sean reemplazadas por startups mucho menos intensivas en mano de obra. Esto también podría conducir a un mundo de «desigualdad geográfica», donde una fracción creciente de la riqueza del mundo se concentre en Silicon Valley, que se convierte en su propia economía ejecutándose a una velocidad diferente a la del resto del mundo y dejándolo atrás. Todos estos resultados serían excelentes para el crecimiento económico, pero no tanto para el mercado laboral o para quienes se quedan atrás.
En segundo lugar, algunas personas dicen que los empleos humanos se trasladarán al mundo físico, lo que evita toda la categoría del «trabajo cognitivo» donde la IA está progresando tan rápidamente. Tampoco estoy seguro de cuán seguro sea esto. Gran parte del trabajo físico ya lo realizan máquinas (por ejemplo, la fabricación) o pronto lo realizarán máquinas (por ejemplo, la conducción). Además, una IA lo suficientemente potente podrá acelerar el desarrollo de robots y luego controlar esos robots en el mundo físico. Puede ganar algo de tiempo (lo cual es algo bueno), pero me preocupa que no gane mucho. E incluso si la perturbación se limitara solo a las tareas cognitivas, seguiría siendo una perturbación sin precedentes por su magnitud y rapidez.
En tercer lugar, tal vez algunas tareas requieran inherentemente o se beneficien enormemente de un toque humano. Tengo un poco más de incertidumbre sobre este punto, pero sigo siendo escéptico de que sea suficiente para compensar la mayor parte de los impactos que describí anteriormente. La IA ya se utiliza ampliamente para la atención al cliente. Muchas personas informan que es más fácil hablar con la IA sobre sus problemas personales que hablar con un terapeuta; que la IA es más paciente. Cuando mi hermana tenía problemas médicos durante un embarazo, sintió que no estaba obteniendo las respuestas o el apoyo que necesitaba de sus proveedores de atención médica, y encontró que Claude tenía un mejor trato humano (además de tener más éxito en el diagnóstico del problema). Estoy seguro de que hay algunas tareas para las que un toque humano es realmente importante, pero no estoy seguro de cuántas, y aquí estamos hablando de encontrar trabajo para casi todos en el mercado laboral.
En cuarto lugar, algunos pueden argumentar que la ventaja comparativa seguirá protegiendo a los humanos. Bajo la ley de la ventaja comparativa, incluso si la IA es mejor que los humanos en todo, cualquier diferencia relativa entre el perfil de habilidades humano y el de la IA crea una base de comercio y especialización entre humanos e IA. El problema es que si las IA son literalmente miles de veces más productivas que los humanos, esta lógica empieza a desmoronarse. Incluso unos costes de transacción minúsculos podrían hacer que no valga la pena para la IA comerciar con humanos. Y los salarios humanos pueden ser muy bajos, incluso si técnicamente tienen algo que ofrecer.
Es posible que todos estos factores se puedan abordar; que el mercado laboral sea lo suficientemente resiliente como para adaptarse incluso a una perturbación tan enorme. Pero incluso si eventualmente puede adaptarse, los factores anteriores sugieren que el impacto a corto plazo no tendrá precedentes en magnitud.
Defensas
¿Qué podemos hacer ante este problema? Tengo varias sugerencias, algunas de las cuales Anthropic ya está llevando a cabo. La primera es simplemente obtener datos precisos sobre lo que está sucediendo con el desplazamiento laboral en tiempo real. Cuando un cambio económico ocurre muy rápidamente, es difícil obtener datos fiables sobre lo que está sucediendo, y sin datos fiables es difícil diseñar políticas eficaces. Por ejemplo, los datos gubernamentales carecen actualmente de datos granulares y de alta frecuencia sobre la adopción de la IA en empresas e industrias. Durante el último año, Anthropic ha estado operando y publicando abiertamente un Índice Económico que muestra el uso de nuestros modelos casi en tiempo real, desglosado por industria, tarea, ubicación e incluso aspectos como si una tarea se estaba automatizando o realizando de forma colaborativa. También contamos con un Consejo Consultivo Económico que nos ayuda a interpretar estos datos y ver lo que viene.
En segundo lugar, las empresas de IA tienen la opción de elegir cómo trabajan con las corporaciones. La propia ineficiencia de las empresas tradicionales significa que su implantación de la IA puede depender mucho del camino tomado, y hay cierto margen para elegir un camino mejor. Las empresas a menudo pueden elegir entre «ahorro de costes» (hacer lo mismo con menos personas) e «innovación» (hacer más con el mismo número de personas). Inevitablemente, el mercado producirá ambas cosas con el tiempo, y cualquier empresa de IA competitiva tendrá que atender a ambas en parte, pero puede haber cierto margen para orientar a las empresas hacia la innovación cuando sea posible, y esto puede ganarnos algo de tiempo. Anthropic está pensando activamente en esto.
En tercer lugar, las empresas deberían pensar en cómo cuidar a sus empleados. A corto plazo, ser creativos sobre las formas de reasignar empleados dentro de las empresas puede ser una vía prometedora para evitar la necesidad de despidos. A largo plazo, en un mundo con una enorme riqueza total, en el que muchas empresas aumenten enormemente su valor debido al incremento de la productividad y la concentración de capital, puede ser viable pagar a los empleados humanos incluso mucho después de que ya no aporten valor económico en el sentido tradicional. Actualmente, Anthropic está considerando una serie de posibles vías para nuestros propios empleados que compartiremos en un futuro próximo.
En cuarto lugar, las personas adineradas tienen la obligación de ayudar a resolver este problema. Me resulta triste que muchas personas adineradas (especialmente en la industria tecnológica) hayan adoptado recientemente una actitud cínica y nihilista de que la filantropía es inevitablemente fraudulenta o inútil. Tanto la filantropía privada como la Fundación Gates como los programas públicos como PEPFAR han salvado decenas de millones de vidas en el mundo en desarrollo y han ayudado a crear oportunidades económicas en el mundo desarrollado. Todos los cofundadores de Anthropic nos hemos comprometido a donar el 80% de nuestra riqueza, y el personal de Anthropic se ha comprometido individualmente a donar acciones de la empresa por valor de miles de millones a precios actuales, donaciones que la empresa se ha comprometido a igualar.
En quinto lugar, si bien todas las acciones privadas anteriores pueden ser de ayuda, en última instancia un problema macroeconómico de esta magnitud requerirá la intervención del gobierno. La respuesta política natural ante una tarta económica enorme combinada con una alta desigualdad (debido a la falta de empleo, o empleos mal pagados, para muchos) es la tributación progresiva. El impuesto podría ser general o podría estar dirigido contra las empresas de IA en particular. Obviamente, el diseño fiscal es complicado y hay muchas formas de que salga mal. No apoyo políticas fiscales mal diseñadas. Creo que los niveles extremos de desigualdad predichos en este ensayo justifican una política fiscal más sólida por razones morales básicas, pero también puedo exponer un argumento pragmático a los multimillonarios del mundo de que les conviene apoyar una buena versión de la misma: si no apoyan una buena versión, inevitablemente obtendrán una mala versión diseñada por una masa enfurecida.
En última instancia, pienso en todas las intervenciones anteriores como formas de ganar tiempo. Al final, la IA podrá hacerlo todo, y debemos hacer frente a eso. Tengo la esperanza de que, para ese momento, podamos usar la propia IA para que nos ayude a reestructurar los mercados de forma que funcionen para todos, y que las intervenciones anteriores puedan hacernos superar el período de transición.
Concentración del poder económico
Independientemente del problema del desplazamiento laboral o de la desigualdad económica en sí, está el problema de la concentración económica del poder. En la Sección 1 se analizó el riesgo de que la humanidad pierda el control debido a la IA, y en la Sección 3 se analizó el riesgo de que los ciudadanos sean despojados de su poder por sus gobiernos mediante la fuerza o la coerción. Pero puede ocurrir otro tipo de pérdida de poder si hay una concentración de riqueza tan enorme que un pequeño grupo de personas controle efectivamente la política gubernamental con su influencia, y los ciudadanos de a pie no tengan influencia porque carecen de palanca económica. En última instancia, la democracia se sustenta en la idea de que la población en su conjunto es necesaria para el funcionamiento de la economía. Si esa palanca económica desaparece, entonces el contrato social implícito de la democracia puede dejar de funcionar. Otros han escrito sobre esto, por lo que no necesito entrar en grandes detalles aquí, pero estoy de acuerdo con la preocupación y me preocupa que ya esté empezando a suceder.
Para ser claros, no me opongo a que la gente gane mucho dinero. Existe un argumento sólido de que incentiva el crecimiento económico en condiciones normales. Soy receptivo a las preocupaciones sobre impedir la innovación matando a la gallina de los huevos de oro que la genera. Pero en un escenario donde el crecimiento del PIB es del 10 al 20% anual y la IA se está apoderando rápidamente de la economía, pero hay individuos que poseen fracciones apreciables del PIB, la innovación no es lo que debe preocupar. Lo que debe preocupar es un nivel de concentración de la riqueza que rompa la sociedad.
El ejemplo más famoso de extrema concentración de la riqueza en la historia de los EE.UU. es la Gilded Age (Edad Dorada), y el industrial más rico de la Edad Dorada fue John D. Rockefeller. La riqueza de Rockefeller equivalía a aproximadamente el 2% del PIB de los EE.UU. en ese momento.⁴² Una fracción similar hoy daría lugar a una fortuna de 600.000 millones de dólares, y la persona más rica del mundo en la actualidad (Elon Musk) ya supera eso, con aproximadamente 700.000 millones de dólares. Por lo tanto, ya nos encontramos en niveles de concentración de riqueza sin precedentes históricos, incluso antes de la mayor parte del impacto económico de la IA. No creo que sea descabellado (si conseguimos un «país de genios») imaginar empresas de IA, empresas de semiconductores y tal vez empresas de aplicaciones derivadas generando aproximadamente 3 billones de dólares en ingresos al año,⁴³ estando valoradas en aproximadamente 30 billones de dólares y dando lugar a fortunas personales de varios billones. En ese mundo, los debates que tenemos hoy sobre la política fiscal simplemente no se aplicarán, ya que nos encontraremos en una situación fundamentalmente diferente.
Relacionado con esto, la vinculación de esta concentración económica de la riqueza con el sistema político ya me preocupa. Los centros de datos de IA ya representan una fracción sustancial del crecimiento económico de los EE.UU.⁴⁴ y, por lo tanto, están estrechamente vinculados los intereses financieros de las grandes empresas tecnológicas (que se centran cada vez más en la IA o en la infraestructura de IA) y los intereses políticos del gobierno de una manera que puede producir incentivos perversos. Ya vemos esto a través de la reticencia de las empresas tecnológicas a criticar al gobierno de los EE.UU., y el apoyo del gobierno a políticas desreguladoras extremas sobre la IA.
Defensas
¿Qué se puede hacer al respecto? En primer lugar, y de manera más obvia, las empresas deberían simplemente optar por no ser parte de esto. Anthropic siempre se ha esforzado por ser un actor de políticas públicas y no uno político, y por mantener nuestros puntos de vista auténticos sin importar la administración. Hemos hablado a favor de una regulación sensata de la IA y de controles de exportación que sean de interés público, incluso cuando estos entran en conflicto con la política gubernamental.⁴⁵ Muchas personas me han dicho que deberíamos dejar de hacer esto, que podría llevar a un trato desfavorable, pero en el año que llevamos haciéndolo, la valoración de Anthropic se ha multiplicado por más de 6, un salto casi sin precedentes a nuestra escala comercial.
En segundo lugar, la industria de la IA necesita una relación más saludable con el gobierno: una basada en un compromiso político sustantivo en lugar de una alineación política. Nuestra decisión de participar en el fondo de las políticas públicas en lugar de en la política partidista a veces se interpreta como un error táctico o un fallo a la hora de «captar el ambiente» en lugar de como una decisión basada en principios, y ese planteamiento me preocupa. En una democracia saludable, las empresas deberían poder defender una buena política por su propio bien. Relacionado con esto, se está fraguando una reacción pública contra la IA: esto podría ser un correctivo, pero actualmente carece de enfoque. Gran parte de ella se dirige a cuestiones que en realidad no son problemas (como el uso de agua de los centros de datos) y propone soluciones (como prohibiciones de centros de datos o impuestos sobre la riqueza mal diseñados) que no abordarían las preocupaciones reales. La cuestión subyacente que merece atención es garantizar que el desarrollo de la IA siga rindiendo cuentas al interés público, no capturado por ninguna alianza política o comercial en particular, y parece importante centrar la discusión pública ahí.
En tercer lugar, las intervenciones macroeconómicas que describí anteriormente en esta sección, así como un resurgimiento de la filantropía privada, pueden ayudar a equilibrar la balanza económica, abordando tanto el desplazamiento laboral como los problemas de concentración del poder económico a la vez. Deberíamos mirar la historia de nuestro país aquí: incluso en la Edad Dorada, industriales como Rockefeller y Carnegie sentían una fuerte obligación hacia la sociedad en general, un sentimiento de que la sociedad había contribuido enormemente a su éxito y necesitaban corresponder. Ese espíritu parece faltar cada vez más hoy en día, y creo que es una parte importante del camino para salir de este dilema económico. Aquellos que están al frente del auge económico de la IA deberían estar dispuestos a ceder tanto su riqueza como su poder.
5. Mares negros del infinito
Efectos indirectos
Esta última sección es un cajón de sastre para los imprevistos desconocidos, particularmente aquellos aspectos que podrían salir mal como resultado indirecto de los avances positivos en la IA y la consiguiente aceleración de la ciencia y la tecnología en general. Supongamos que abordamos todos los riesgos descritos hasta ahora y comenzamos a cosechar los beneficios de la IA. Es probable que obtengamos un «siglo de progreso científico y económico comprimido en una década», y esto será enormemente positivo para el mundo, pero luego tendremos que lidiar con los problemas que surjan de este rápido ritmo de progreso, y esos problemas pueden sobrevenirnos rápidamente. También podemos encontrar otros riesgos que ocurran indirectamente como consecuencia del progreso de la IA y que sean difíciles de anticipar con antelación.
Por la propia naturaleza de los imprevistos desconocidos, es imposible hacer una lista exhaustiva, pero enumeraré tres posibles preocupaciones como ejemplos ilustrativos de lo que deberíamos estar vigilando:
l Avances rápidos en biología. Si realmente obtenemos un siglo de progreso médico en unos pocos años, es posible que aumentemos enormemente la esperanza de vida humana, y existe la posibilidad de que también adquiramos capacidades radicales como la habilidad de aumentar la inteligencia humana o modificar radicalmente la biología humana. Esos serían grandes cambios en lo que es posible, sucediendo muy rápidamente. Podrían ser positivos si se realizan de manera responsable (que es mi esperanza, como se describe en Machines of Loving Grace), pero siempre existe el riesgo de que salgan muy mal; por ejemplo, si los esfuerzos por hacer que los humanos sean más inteligentes también los vuelven más inestables o ávidos de poder. También está la cuestión de las «cargas» (uploads) o la «emulación del cerebro completo» (whole brain emulation), mentes humanas digitales instanciadas en software, que algún día podrían ayudar a la humanidad a trascender sus limitaciones físicas, pero que también conllevan riesgos que me resultan inquietantes.
l La IA cambia la vida humana de forma insalubre. Un mundo con miles de millones de inteligencias que son mucho más inteligentes que los humanos en todo va a ser un mundo muy extraño en el que vivir. Incluso si la IA no busca activamente atacar a los humanos (Sección 1), y no se utiliza explícitamente para la opresión o el control por parte de los estados (Sección 3), hay mucho que podría salir mal antes de llegar a eso, a través de incentivos empresariales normales y transacciones nominalmente consensuadas. Vemos indicios tempranos de esto en las preocupaciones sobre la psicosis por IA, la IA llevando a las personas al suicidio y las preocupaciones sobre las relaciones románticas con las IA. Como ejemplo, ¿podrían las IA potentes inventar alguna nueva religión y convertir a millones de personas a ella? ¿Podría la mayoría de la gente terminar siendo «adicta» de alguna manera a las interacciones con la IA? ¿Podría la gente terminar siendo «marionetizada» por sistemas de IA, donde una IA esencialmente vigila cada uno de sus movimientos y les dice exactamente qué hacer y decir en todo momento, conduciendo a una vida «buena» pero que carece de libertad o de cualquier orgullo por los logros? No sería difícil generar docenas de estos escenarios si me sentara con el creador de Black Mirror e intentara hacer una lluvia de ideas. Creo que esto señala la importancia de cosas como mejorar la Constitución de Claude, más allá de lo necesario para prevenir los problemas de la Sección 1. Asegurarse de que los modelos de IA realmente tengan en cuenta los intereses a largo plazo de sus usuarios, de una manera que las personas reflexivas respaldarían en lugar de una forma sutilmente distorsionada, parece crítico.
l El propósito humano. Esto está relacionado con el punto anterior, pero no se trata tanto de las interacciones humanas específicas con los sistemas de IA como de cómo cambia la vida humana en general en un mundo con una IA potente. ¿Podrán los humanos encontrar propósito y sentido en un mundo así? Creo que esto es una cuestión de actitud: como dije en Machines of Loving Grace, creo que el propósito humano no depende de ser el mejor del mundo en algo, y los humanos pueden encontrar propósito incluso durante períodos de tiempo muy largos a través de historias y proyectos que aman. Simplemente necesitamos romper el vínculo entre la generación de valor económico y la autoestima y el sentido. Pero esa es una transición que la sociedad tiene que hacer, y siempre existe el riesgo de que no la manejemos bien.
Mi esperanza con todos estos problemas potenciales es que, en un mundo con una IA potente en la que confiemos para no matarnos, que no sea la herramienta de un gobierno opresor y que esté trabajando genuinamente en nuestro nombre, podamos usar la propia IA para anticipar y prevenir estos problemas. Pero eso no está garantizado; como todos los demás riesgos, es algo que debemos manejar con cuidado.
Test de Humanidad
Leer este ensayo puede dar la impresión de que nos encontramos en una situación desalentadora. Ciertamente me pareció desalentador escribirlo, en contraste con Machines of Loving Grace, que se sintió como dar forma y estructura a una música extraordinariamente hermosa que había estado resonando en mi cabeza durante años. Y hay mucho en la situación que realmente es difícil. La IA trae amenazas a la humanidad desde múltiples direcciones, y existe una tensión real entre los diferentes peligros, donde mitigar algunos de ellos corre el riesgo de empeorar otros si no hilamos extremadamente fino.
Tomarse el tiempo para construir cuidadosamente sistemas de IA para que no amenacen de forma autónoma a la humanidad está en verdadera tensión con la necesidad de que las naciones democráticas se mantengan por delante de las naciones autoritarias y no sean sojuzgadas por ellas. Pero a su vez, las mismas herramientas impulsadas por la IA que son necesarias para combatir a las autocracias pueden, si se llevan demasiado lejos, volverse hacia adentro para crear tiranía en nuestros propios países. El terrorismo impulsado por la IA podría matar a millones a través del uso indebido de la biología, pero una reacción exagerada a este riesgo podría llevarnos por el camino hacia un estado de vigilancia autocrático. Los efectos de la concentración laboral y económica de la IA, además de ser problemas graves por derecho propio, pueden obligarnos a enfrentarnos a los demás problemas en un entorno de indignación pública y tal vez incluso de malestar civil, en lugar de poder recurrir a los mejores ángeles de nuestra naturaleza. Por encima de todo, el mero número de riesgos, incluidos los desconocidos, y la necesidad de lidiar con todos ellos a la vez, crea un desafío intimidante que la humanidad debe superar.
Además, los últimos años deberían dejar claro que la idea de detener o incluso ralentizar sustancialmente la tecnología es fundamentalmente insostenible. La fórmula para construir sistemas de IA potentes es increíblemente simple, tanto que casi se puede decir que surge de forma espontánea de la combinación adecuada de datos y capacidad de cómputo bruta. Su creación era probablemente inevitable en el instante en que la humanidad inventó el transistor, o se podría decir que incluso antes, cuando aprendimos por primera vez a controlar el fuego. Si una empresa no lo construye, otras lo harán casi con la misma rapidez. Si todas las empresas de los países democráticos detuvieran o ralentizaran el desarrollo, por mutuo acuerdo o por decreto regulatorio, las naciones autoritarias simplemente continuarían. Dado el increíble valor económico y militar de la tecnología, junto con la falta de cualquier mecanismo de ejecución significativo, no veo cómo podríamos convencerlos de que se detengan.
Sí veo un camino hacia una moderación ligera en el desarrollo de la IA que sea compatible con una visión realista de la geopolítica. Ese camino implica frenar la marcha de las autocracias hacia una IA potente durante unos años negándoles los recursos que necesitan para construirla,⁴⁶ a saber, chips y equipos de fabricación de semiconductores. Esto, a su vez, da a los países democráticos un margen que pueden «gastar» en construir una IA potente con más cuidado, con más atención a sus riesgos, sin dejar de avanzar lo suficientemente rápido como para superar cómodamente a las autocracias. La carrera entre las empresas de IA dentro de las democracias se puede manejar bajo el paraguas de un marco legal común, mediante una mezcla de estándares de la industria y regulación. Anthropic ha defendido con mucha fuerza este camino, presionando para que se establezcan controles a la exportación de chips y una regulación juiciosa de la IA, pero incluso estas propuestas aparentemente de sentido común han sido rechazadas en gran medida por los responsables políticos de los Estados Unidos (que es el país donde es más importante tenerlas). Hay tanto dinero que ganar con la IA —literalmente billones de dólares al año— que incluso las medidas más simples están encontrando dificultades para superar la economía política inherente a la IA. Esta es la trampa: la IA es tan potente, un premio tan deslumbrante, que es muy difícil para la civilización humana imponerle restricción alguna.
Puedo imaginar, como hizo Sagan en Contact, que esta misma historia se repite en miles de mundos. Una especie adquiere sintiencia, aprende a usar herramientas, comienza el ascenso exponencial de la tecnología, se enfrenta a las crisis de la industrialización y las armas nucleares, y si sobrevive a ellas, se enfrenta al desafío más difícil y final cuando aprende a moldear la arena para convertirla en máquinas que piensan. Si sobrevivimos a esa prueba y llegamos a construir la hermosa sociedad descrita en Machines of Loving Grace, o si sucumbimos a la esclavitud y la destrucción, dependerá de nuestro carácter y nuestra determinación como especie, de nuestro espíritu y de nuestra alma.
A pesar de los muchos obstáculos, creo que la humanidad tiene la fuerza interior para superar esta prueba. Me siento animado e inspirado por los miles de investigadores que han dedicado sus carreras a ayudarnos a comprender y dirigir los modelos de IA, y a dar forma al carácter y la constitución de estos modelos. Creo que ahora hay una buena oportunidad de que esos esfuerzos den fruto a tiempo para marcar la diferencia. Me reconforta que al menos algunas empresas hayan declarado que pagarán costes comerciales significativos para evitar que sus modelos contribuyan a la amenaza del bioterrorismo. Me reconforta que unas pocas personas valientes hayan resistido las corrientes políticas dominantes y hayan aprobado legislación que establece las primeras semillas de barreras de protección sensatas para los sistemas de IA. Me reconforta que el público comprenda que la IA conlleva riesgos y quiera que se aborden esos riesgos. Me reconforta el espíritu indomable de libertad en todo el mundo y la determinación de resistir a la tiranía donde quiera que ocurra.
Pero necesitaremos redoblar nuestros esfuerzos si queremos tener éxito. El primer paso es que aquellos más cercanos a la tecnología simplemente digan la verdad sobre la situación en la que se encuentra la humanidad, algo que siempre he intentado hacer; lo estoy haciendo de forma más explícita y con mayor urgencia en este ensayo. El siguiente paso será convencer a los pensadores, responsables políticos, empresas y ciudadanos del mundo de la inminencia y la importancia primordial de este asunto: que vale la pena dedicar pensamiento y capital político a esto en comparación con los miles de otros temas que dominan las noticias todos los días. Luego llegará el momento del coraje, de que suficiente gente se oponga a las tendencias dominantes y se mantenga firme por principios, incluso ante amenazas a sus intereses económicos y su seguridad personal.
Los años que tenemos por delante serán imposiblemente difíciles y nos exigirán más de lo que creemos que podemos dar. Pero en mi experiencia como investigador, líder y ciudadano, he visto suficiente coraje y nobleza como para creer que podemos ganar; que, al encontrarse en las circunstancias más oscuras, la humanidad tiene una forma de reunir, aparentemente en el último minuto, la fuerza y la sabiduría necesarias para prevalecer. No tenemos tiempo que perder.
Me gustaría dar las gracias a Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cuéllar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave y a muchísimos miembros del personal de Anthropic por sus útiles comentarios sobre los borradores de este ensayo.
Notas pie de página:
1. Esto es simétrico a un punto que expuse en Machines of Loving Grace, donde comencé diciendo que las ventajas de la IA no deberían pensarse en términos de una profecía de salvación, y que es importante ser concretos, estar fundamentados y evitar la grandiosidad. En última instancia, las profecías de salvación y las profecías de destrucción no son útiles para enfrentarse al mundo real, básicamente por las mismas razones.
2. El objetivo de Anthropic es mantenerse coherente a través de tales cambios. Cuando hablar de los riesgos de la IA era popular políticamente, Anthropic defendió con cautela un enfoque juicioso y basado en la evidencia ante estos riesgos. Ahora que hablar de los riesgos de la IA es impopular políticamente, Anthropic continúa defendiendo con cautela un enfoque juicioso y basado en la evidencia ante estos riesgos.
3. Con el tiempo, he adquirido una confianza creciente en la trayectoria de la IA y en la probabilidad de que supere la capacidad humana en todos los ámbitos, pero aún se mantiene cierta incertidumbre.
4. Los controles de exportación de chips son un gran ejemplo de esto. Son simples y parecen funcionar en su mayoría.
5. Y, por supuesto, la búsqueda de tal evidencia debe ser intelectualmente honesta, de modo que también pueda revelar evidencia de falta de peligro. La transparencia a través de las fichas de modelos (model cards) y otras divulgaciones es un intento de tal esfuerzo intelectualmente honesto.
6. De hecho, desde que escribí Machines of Loving Grace en 2024, los sistemas de IA se han vuelto capaces de realizar tareas que a los humanos les llevan varias horas, y METR evaluó recientemente que Opus 4.5 puede hacer unas cuatro horas de trabajo humano con un 50% de fiabilidad.
7. Y para ser claros, incluso si una IA potente está a solo 1-2 años de distancia en un sentido técnico, muchas de sus consecuencias sociales, tanto positivas como negativas, pueden tardar unos años más en producirse. Es por eso que puedo pensar simultáneamente que la IA perturbará el 50% de los empleos de oficina de nivel inicial en un plazo de 1 a 5 años, mientras que también pienso que podríamos tener una IA más capaz que cualquier persona en solo 1-2 años.
8. Vale la pena añadir que el público (en comparación con los responsables políticos) parece estar muy preocupado por los riesgos de la IA. Creo que parte de su enfoque es correcto (es decir, el desplazamiento laboral por la IA), y parte está equivocado (como la preocupación por el uso de agua de la IA, que no es significativo). Esta reacción me da esperanzas de que sea posible un consenso sobre el abordaje de los riesgos, pero hasta ahora no se ha traducido en cambios de políticas, y mucho menos en cambios de políticas eficaces o bien orientados.
9. También pueden, por supuesto, manipular (o simplemente pagar) a un gran número de humanos para que hagan lo que ellos quieren en el mundo físico.
10. No creo que esto sea un hombre de paja: tengo entendido, por ejemplo, que Yann LeCun sostiene esta postura.
11. Por ejemplo, véase la Sección 5.5.2 (pág. 63–66) de la ficha del sistema Claude 4.
12. También hay una serie de otros supuestos inherentes al modelo simple, que no discutiré aquí. En términos generales, deberían hacer que nos preocupemos menos por la historia simple específica de la búsqueda de poder desalineada, pero también más por un posible comportamiento impredecible que no hayamos anticipado.
13. El juego de Ender describe una versión de esto que involucra a humanos en lugar de a la IA.
14. Por ejemplo, se les puede decir a los modelos que no hagan varias cosas malas y también que obedezcan a los humanos, ¡pero luego pueden observar que muchos humanos hacen exactamente esas cosas malas! No está claro cómo se resolvería esta contradicción (y una constitución bien diseñada debería animar al modelo a manejar estas contradicciones con elegancia), pero este tipo de dilema no es tan diferente de las situaciones supuestamente «artificiales» en las que ponemos a los modelos de IA durante las pruebas.
15. Incidentalmente, una consecuencia de que la constitución sea un documento en lenguaje natural es que es legible para el mundo, y eso significa que cualquiera puede criticarlo y compararlo con documentos similares de otras empresas. Sería valioso crear una carrera hacia la cima que no solo anime a las empresas a publicar estos documentos, sino que las anime a que sean buenos.
16. Incluso existe una hipótesis sobre un principio unificador profundo que conecta el enfoque basado en el carácter de la IA Constitucional con los resultados de la ciencia de la interpretabilidad y la alineación. Según la hipótesis, los mecanismos fundamentales que impulsan a Claude surgieron originalmente como formas de simular personajes en el preentrenamiento, como predecir lo que dirían los personajes de una novela. Esto sugeriría que una forma útil de pensar en la constitución es más bien como la descripción de un personaje que el modelo utiliza para instanciar una persona coherente. También nos ayudaría a explicar los resultados de «debo ser una mala persona» que mencioné anteriormente (porque el modelo intenta actuar como si fuera un personaje coherente; en este caso, uno malo), y sugeriría que los métodos de interpretabilidad deberían ser capaces de descubrir «rasgos psicológicos» dentro de los modelos. Nuestros investigadores están trabajando en formas de probar esta hipótesis.
17. Para ser claros, la monitorización se realiza de manera que se preserve la privacidad.
18. Incluso en nuestros propios experimentos con lo que son esencialmente reglas impuestas voluntariamente con nuestra Política de Escalado Responsable (Responsible Scaling Policy), hemos descubierto una y otra vez que es muy fácil terminar siendo demasiado rígidos, trazando líneas que parecen importantes ex ante pero que resultan ser absurdas en retrospectiva. Es simplemente muy fácil establecer reglas sobre las cosas equivocadas cuando una tecnología avanza rápidamente.
19. La SB 53 y la RAISE no se aplican en absoluto a empresas con menos de 500 millones de dólares en ingresos anuales. Solo se aplican a empresas más grandes y consolidadas como Anthropic.
20. Originalmente leí el ensayo de Joy hace 25 años, cuando fue escrito, y tuvo un profundo impacto en mí. Entonces y ahora, lo veo como demasiado pesimista —no creo que la "renuncia" amplia a áreas enteras de la tecnología, que Joy sugiere, sea la respuesta— pero los problemas que plantea fueron sorprendentemente presagiosos, y Joy también escribe con un profundo sentido de compasión y humanidad que admiro.
21. Tenemos que preocuparnos por los actores estatales, ahora y en el futuro, y discuto eso en la siguiente sección.
22. Hay evidencia de que muchos terroristas están al menos relativamente bien educados, lo que podría parecer contradecir lo que estoy argumentando aquí sobre una correlación negativa entre la habilidad y la motivación. Pero creo que en realidad son observaciones compatibles: si el umbral de habilidad para un ataque exitoso es alto, entonces casi por definición aquellos que actualmente tienen éxito deben tener una alta habilidad, incluso si la habilidad y la motivación están correlacionadas negativamente. Pero en un mundo donde se eliminaran las limitaciones de habilidad (por ejemplo, con futuros LLM), predeciría que una población sustancial de personas con la motivación de matar pero con menor habilidad comenzaría a hacerlo —al igual que vemos en los delitos que no requieren mucha habilidad (como los tiroteos escolares).
23. Sin embargo, Aum Shinrikyo lo intentó. El líder de Aum Shinrikyo, Seiichi Endo, tenía formación en virología por la Universidad de Kioto e intentó producir tanto ántrax como ébola. Sin embargo, a fecha de 1995, incluso él carecía de la experiencia y los recursos suficientes para lograrlo. El listón es ahora sustancialmente más bajo, y los LLM podrían reducirlo aún más.
24. Un fenómeno extraño relacionado con los asesinos en masa es que el estilo de asesinato que eligen funciona casi como un tipo grotesco de moda pasajera. En las décadas de 1970 y 1980, los asesinos en serie eran muy comunes, y los nuevos asesinos en serie a menudo copiaban el comportamiento de asesinos en serie más establecidos o famosos. En las décadas de 1990 y 2000, los tiroteos masivos se volvieron más comunes, mientras que los asesinos en serie se volvieron menos comunes. No hay ningún cambio tecnológico que haya desencadenado estos patrones de comportamiento, simplemente parece que los asesinos violentos estaban copiando el comportamiento de los demás y la cosa "popular" para copiar cambió.
25. Los vulneradores ocasionales (jailbreakers) a veces creen que han comprometido estos clasificadores cuando logran que el modelo emita una pieza específica de información, como la secuencia del genoma de un virus. Pero como expliqué antes, el modelo de amenaza que nos preocupa implica asesoramiento interactivo, paso a paso, que se extiende a lo largo de semanas o meses sobre pasos específicos y oscuros en el proceso de producción de armas biológicas, y esto es contra lo que nuestros clasificadores pretenden defender. (A menudo describimos nuestra investigación como la búsqueda de jailbreaks "universales", aquellos que no solo funcionan en un contexto específico o estrecho, sino que abren ampliamente el comportamiento del modelo).
26. Aunque continuaremos invirtiendo en el trabajo para hacer que nuestros clasificadores sean más eficientes, y puede tener sentido que las empresas compartan avances como estos entre sí.
27. Obviamente, no creo que las empresas deban tener que revelar detalles técnicos sobre los pasos específicos en la producción de armas biológicas que están bloqueando, y la legislación de transparencia que se ha aprobado hasta ahora (SB 53 y RAISE) tiene en cuenta este problema.
28. Otra idea relacionada son los "mercados de resiliencia", donde el gobierno fomenta el almacenamiento de EPI (PPE), respiradores y otros equipos esenciales necesarios para responder a un ataque biológico prometiendo con antelación pagar un precio preacordado por este equipo en una emergencia. Esto incentiva a los proveedores a almacenar dicho equipo sin temor a que el gobierno se lo incautase sin compensación.
29. ¿Por qué estoy más preocupado por los grandes actores para la toma del poder, pero por los pequeños actores para causar destrucción? Porque las dinámicas son diferentes. Tomar el poder se trata de si un actor puede acumular suficiente fuerza para superar a todos los demás —por lo tanto, deberíamos preocuparnos por los actores más poderosos y/o aquellos más cercanos a la IA. La destrucción, por el contrario, puede ser provocado por aquellos con poco poder si es mucho más difícil defenderse que causarla. Es entonces un juego de defenderse contra las amenazas más numerosas, que es probable que sean actores más pequeños.
30. Esto puede sonar como si estuviera en tensión con mi punto de que el ataque y la defensa pueden estar más equilibrados con los ciberataques que con las armas biológicas, pero mi preocupación aquí es que si la IA de un país es la más poderosa del mundo, entonces otros no podrán defenderse incluso si la tecnología misma tiene un equilibrio intrínseco de ataque-defensa.
31. Por ejemplo, en los Estados Unidos esto incluye la cuarta enmienda y la Ley Posse Comitatus.
32. Además, para ser claros, existen algunos argumentos a favor de construir grandes centros de datos en países con variadas estructuras de gobernanza, particularmente si están controlados por empresas en democracias. Tales expansiones podrían, en principio, ayudar a las democracias a competir mejor con el PCCh, que es la amenaza mayor. También creo que tales centros de datos no representan mucho riesgo a menos que sean muy grandes. Pero en conjunto, creo que se justifica la precaución al colocar centros de datos muy grandes en países donde las salvaguardias institucionales y las protecciones del estado de derecho están menos consolidadas.
33. Esto es, por supuesto, también un argumento para mejorar la seguridad de la disuasión nuclear para hacerla más probable de ser robusta frente a una IA poderosa, y las democracias con armas nucleares deberían hacer esto. Pero no sabemos de qué será capaz una IA poderosa o qué defensas, si las hay, funcionarán contra ella, por lo que no debemos asumir que estas medidas resolverán necesariamente el problema.
34. También existe el riesgo de que, incluso si la disuasión nuclear sigue siendo efectiva, un país atacante decida desafiar nuestro farol —no está claro si estaríamos dispuestos a usar armas nucleares para defendernos de un enjambre de drones, incluso si el enjambre de drones tiene un riesgo sustancial de conquistarnos. Los enjambres de drones podrían ser una novedad menos grave que los ataques nucleares pero más grave que los ataques convencionales. Alternativamente, las diferentes evaluaciones de la efectividad de la disuasión nuclear en la era de la IA podrían alterar la teoría de juegos del conflicto nuclear de manera desestabilizadora.
35. Para ser claros, creería que es la estrategia correcta no vender chips a China, incluso si la línea de tiempo hacia una IA poderosa fuera sustancialmente más larga. No podemos hacer que los chinos se vuelvan "adictos" a los chips estadounidenses —están decididos a desarrollar su industria nativa de chips de una forma u otra. Les llevará muchos años hacerlo, y todo lo que hacemos al venderles chips es darles un gran impulso durante ese tiempo.
36. Para ser claros, la mayor parte de lo que se utiliza en Ucrania y Taiwán hoy en día no son armas totalmente autónomas. Estas están llegando, pero no están aquí hoy.
37. Nuestra tarjeta de modelo para Claude Opus 4.5, nuestro modelo más reciente, muestra que Opus se desempeña mejor en una entrevista de ingeniería de rendimiento que se realiza con frecuencia en Anthropic que cualquier entrevistado en la historia de la empresa.
38. "Escribir todo el código" y "hacer la tarea de un ingeniero de software de principio a fin" son cosas muy diferentes, porque los ingenieros de software hacen mucho más que solo escribir código, incluyendo pruebas, tratar con entornos, archivos e instalación, gestionar despliegues de computación en la nube, iterar sobre productos y mucho más.
39. Las computadoras son generales en cierto sentido, pero son claramente incapaces por sí mismas de la gran mayoría de las capacidades cognitivas humanas, incluso aunque superen con creces a los humanos en unas pocas áreas (como la aritmética). Por supuesto, las cosas construidas sobre computadoras, como la IA, ahora son capaces de una amplia gama de capacidades cognitivas, que es de lo que trata este ensayo.
40. Para ser claros, los modelos de IA no tienen precisamente el mismo perfil de fortalezas y debilidades que los humanos. Pero también están avanzando de manera bastante uniforme a lo largo de cada dimensión, de modo que tener un perfil irregular o desequilibrado puede no importar en última instancia.
41. Aunque hay debate entre los economistas sobre esta idea.
42. La riqueza personal es un "stock", mientras que el PIB es un "flujo", por lo que esto no es una afirmación de que Rockefeller poseyera el 2% del valor económico en los Estados Unidos. Pero es más difícil medir la riqueza total de una nación que el PIB, y los ingresos individuales de las personas varían mucho por año, por lo que es difícil hacer una proporción en las mismas unidades. La proporción entre la mayor fortuna personal y el PIB, aunque no sea comparar peras con peras, es sin embargo una referencia perfectamente razonable para la concentración extrema de la riqueza.
43. El valor total del trabajo en toda la economía es de 60 billones de dólares al año, por lo que 3 billones de dólares al año corresponderían al 5% de esto. Esa cantidad podría ser ganada por una empresa que suministrara mano de obra por el 20% del coste de los humanos y tuviera una cuota de mercado del 25%, incluso si la demanda de trabajo no se expandiera (lo que casi con certeza haría debido al menor coste).
44. Para ser claros, no creo que la productividad real de la IA sea todavía responsable de una fracción sustancial del crecimiento económico de EE.UU. Más bien, creo que el gasto en centros de datos representa un crecimiento causado por la inversión anticipatoria, lo que equivale a que el mercado espera un futuro crecimiento económico impulsado por la IA e invierte en consecuencia.
45. Cuando estamos de acuerdo con la administración, lo decimos, y buscamos puntos de acuerdo donde las políticas respaldadas mutuamente sean genuinamente buenas para el mundo. Nuestro objetivo es ser intermediarios honestos en lugar de partidarios u opositores de cualquier partido político determinado.
46. No creo que sea posible nada más allá de unos pocos años: en escalas de tiempo más largas, construirán sus propios chips.
