¿Declarar la guerra a la IA? La narrativa apocalíptica detrás de la residencia en llamas de Ultraman

Título original: La conclusión "racional"
Autor original: ALEXANDER CAMPBELL
Traducción: Peggy, BlockBeats

Nota del editor: A las 3:45 de la madrugada del 10 de abril, un individuo de 20 años arrojó un cóctel Molotov a la residencia de Sam Altman, luego se dirigió a pie a la sede de OpenAI y amenazó con provocar un incendio.

Este ataque causó rápidamente una gran conmoción en la comunidad tecnológica y de inversión. No solo afectaba a la seguridad individual, sino que también impulsó una narrativa extremista que llevaba mucho tiempo presente en los mensajes de texto y en las comunidades en línea, convirtiéndola en realidad.

Partiendo de la afirmación altamente determinista de que "la IA causará la extinción humana" y razonando a través de "debemos reducir el riesgo a toda costa", esta lógica se deslizó gradualmente hacia la justificación de acciones en el mundo real. Cuando una cosmovisión refuerza continuamente su narrativa de "amenaza existencial" y la utiliza para reconstruir las prioridades morales, los límites de la acción se redefinen: el discurso que antes era de bajo coste empieza a conllevar la posibilidad de imposición.

Este artículo repasa la trayectoria evolutiva dentro de la comunidad apocalíptica de la IA: desde la "espiral de purificación" que impulsa evaluaciones de riesgo cada vez más elevadas hasta el juicio ético de los desarrolladores de tecnología, y luego a la simplificación de la compleja realidad en el modelo de decisión del "problema del tranvía". Estas deducciones aparentemente racionales acaban convergiendo en una mentalidad coherente pero peligrosa: mientras el resultado se defina como "salvar a la humanidad", los medios pueden seguir expandiéndose.

En este sentido, este suceso no es un caso aislado. Se trata más bien de una prueba de estrés inicial, que no pone a prueba la tecnología en sí, sino el momento en que la narrativa, las creencias y las acciones que rodean a la tecnología comienzan a perder el control.

El siguiente es el texto original:

¿Quién es el pirómano?

El viernes a las 3:45 de la madrugada, un hombre de 20 años arrojó un cóctel Molotov contra la residencia de Sam Altman. Luego caminó unos cinco kilómetros hasta la sede de OpenAI y amenazó con incendiarla. Actualmente, la policía lo ha arrestado bajo sospecha de intento de asesinato.

El cartel decía: Una persona llamada Daniel Moreno-Gama (alias en línea dmgama / "Yihadista Butleriano") ha sido arrestada por "intento de asesinato" y fichada por la policía. Cabe destacar que es un miembro activo de PauseAI. La publicación también hace referencia a una opinión urgente que ha expresado en múltiples ocasiones: "Se acerca la medianoche, es hora de actuar de verdad."

Él no es un "lobo solitario". Es un miembro activo de PauseAI, donde desempeña seis funciones en la comunidad. Su nombre de usuario en Discord es "Butlerian Jihadist".

Su cuenta de Instagram está casi completamente llena de contenido apocalíptico: una curva de ley de potencias con la leyenda "Si no actuamos pronto, todos moriremos", junto con un diagrama de Venn que sitúa la realidad en la intersección de Matrix, Terminator e Idiocracia.

Cuatro meses antes del ataque, también recomendó a sus seguidores el artículo "La singularidad tecnológica que se avecina", de Yudkowsky y Soares.

Instituto de Yihadistas Butlerianos

"La singularidad tecnológica que se avecina" es una obra fundamental en el ámbito del riesgo y la seguridad de la IA, que presenta una visión marcadamente pesimista. Su argumento central se puede resumir de la siguiente manera: una vez que los humanos crean una "inteligencia sobrehumana" (una IA que supera con creces el intelecto humano) que no está completamente alineada, es muy probable que se salga de control y represente una amenaza existencial para la humanidad. La postura del autor es muy radical, rozando el pesimismo más extremo, pues cree que la IA no solo es "arriesgada", sino casi inevitablemente catastrófica. El autor aboga por extremar la precaución o incluso detener el desarrollo hasta que se resuelva el problema de alineación.

Su nombre es Daniel Moreno-Gama.

También tiene su propio Substack. Ya en enero de este año, publicó un artículo titulado "Riesgo existencial de la IA", en el que estimaba la probabilidad de "extinción humana causada por la IA" como "casi segura". Se refiere a esta tecnología como "una amenaza activa para cualquiera que la utilice, especialmente para quienes la desarrollan". Su conclusión es: "Debemos abordar esta amenaza primero antes de plantearnos otras cuestiones."

También ha escrito un poema en el que imagina a los hijos de desarrolladores de IA muriendo y cuestionando la inacción de sus padres. Incluso describe a los creadores de estas tecnologías como: "Que el infierno tenga piedad de esas viles criaturas."

PauseAI ya ha eliminado los mensajes relacionados de su Discord.

Sé que esto no es lo que la mayoría de los lectores esperan ver en un boletín informativo sobre inversiones. Escribo esto para explicar de dónde proviene mi visión del mundo, facilitando así la comprensión de los juicios a largo plazo que siguen. En cuanto a la propuesta del "Nuevo Pacto" que presenté, es una respuesta directa a este acontecimiento.

Lo que did-133">hice fue simplemente extrapolar su modelo un paso más allá y conectar los puntos.

Narrativa apocalíptica de los catastrofistas de la IA

Comencemos con el "determinismo". La postura de Yudkowsky (en el libro mencionado anteriormente) es la siguiente: una vez que alguien cree una inteligencia artificial lo suficientemente poderosa, todas y cada una de las personas en la Tierra morirán. No "tal vez", no "posiblemente", sino todos, incluyendo a tu hijo y a su hija Nina, a quien menciona repetidamente.

Ha expresado esta opinión en la revista Time y también ha escrito sobre ella en un libro titulado "Si alguien lo logró, todos moriremos". Incluso llegó a defender el bombardeo de centros de datos y creía que el riesgo de un conflicto nuclear era más aceptable que un ejercicio de entrenamiento completo.

La "espiral de purificación", un comportamiento radical que se intensifica continuamente. Dentro de esta comunidad, los miembros demuestran su "determinación" aumentando continuamente la intensidad de su postura: las estimaciones de la "Probabilidad de Extinción Humana (P(catástrofe))" han subido del 50% al 90% y hasta el 99,99999%.

Un portavoz nacional del Centro para la Seguridad de la IA dijo una vez ante las cámaras que la respuesta adecuada sería "entrar en los laboratorios de todo el país y quemarlos". PauseAI incluso puso en marcha un denominado " Protocolo de Disparo de Advertencia", designando a un determinado modelo de IA como un "arma de nivel de extinción". Un líder de PauseAI llegó a decir que una investigadora de Anthropic "se merecía todo lo que le iba a pasar".

Cuando alguien cuestionó esas afirmaciones en el Discord de PauseAI, el administrador eliminó directamente ese mensaje.

El día anterior al ataque, Neth Soares, coautora del libro de Yudkowsky, tuiteó que Altman estaba "haciendo cosas realmente malas".

A continuación, "Cheap Talk" comenzó a enfrentarse a la cruda realidad.

En la teoría de juegos, existe un término llamado "charla barata": que se refiere a afirmaciones con poco o ningún coste, pero que en última instancia están limitadas por la realidad. Inicialmente, todos hacían declaraciones extremas y de bajo costo, pero una vez que el problema se planteó como una "crisis de supervivencia humana", estas opiniones pudieron tomarse en serio, legitimando así el comportamiento extremo.

No se trata de incidentes aislados, sino de una serie de afirmaciones que se intensifican y se refuerzan mutuamente en torno a una ideología un tanto apocalíptica. Si se lleva al extremo, esta lógica podría incluso contemplar "sacrificar al 99% de la población para salvar al último 1%".

A medida que las cosas avanzaban, alguien se tomó estas ideas al pie de la letra y actuó en consecuencia; era solo cuestión de tiempo. Ese joven leyó ese libro, se unió a esa comunidad y redactó su manifiesto. En un ensayo de autorreflexión para una clase de inglés en un colegio comunitario, se definió a sí mismo como consecuencialista: "Si el resultado no coincide, difícilmente creeré en la motivación." Él mismo adoptó el apodo de "yihadista butleriano". El 3 de diciembre escribió en el Discord de PauseAI: "Nos acercamos a la medianoche, es hora de pasar a la acción."

Y entonces, pasó a la acción.

Le plantearon un "problema del tranvía": una vida contra toda la humanidad. Tiró de la palanca.

El tuit anterior (Air Katakana) decía: Yudkowsky (yud) plantó un "problema del tranvía" en la mente de esa persona: en una vía está Sam Altman, en la otra vía está toda la raza humana, incluido Sam Altman. Ese tipo probablemente pensaba que iba a ganar el Premio Nobel de la Paz.

El siguiente tuit citado (Randolph Carter) decía: Una persona incendió la casa del director ejecutivo de una empresa de IA y luego se dirigió inmediatamente a OpenAI para amenazar a las personas que se encontraban allí, y esos "catastrofistas" dijeron: "Podría ser cualquiera, no podemos estar seguros...".

Hay una última nota irónica que vale la pena mencionar. Si estos "catalizadores" realmente creen en sus juicios hasta el punto que afirman, entonces deberían ser más francos sobre las implicaciones derivadas de esas creencias.

Apenas unas semanas antes del ataque, un periodista le había preguntado a Yudkowsky: Dado que la IA es tan peligrosa, ¿por qué no atacan los centros de datos? La respuesta, transmitida a través de Suárez, fue: "Si vieras un reportaje que dijera que hice eso, ¿pensarías: 'Guau, la IA ha sido detenida, estamos a salvo'?" Si no, entonces ya sabes que no funcionaría."

Fíjese que esta respuesta no decía nada. No era "porque la violencia está mal", sino "porque ahora mismo no funciona". Esta restricción se basa en consideraciones estratégicas, no en limitaciones morales. Y esta comunidad lo sabe. Bajo la superficie subyace un consenso tácito: que el mayor "error" de ese joven fue simplemente una mala elección de momento.

Esto es exactamente a lo que me refiero: La inteligencia no equivale al poder. Este es también el defecto más profundo de toda la visión del mundo "apocalíptica".

El marco teórico de Yudkowsky se basa en una paradoja: mientras la IA sea lo suficientemente inteligente, inevitablemente adquirirá la capacidad de destruir a la humanidad porque "la inteligencia se convierte automáticamente en capacidad". Pero muchos de sus seguidores carecen de conocimientos técnicos. No construyen sistemas de IA ni se dedican a la ingeniería de alineación. Lo que poseen es un tipo particular de "inteligencia lingüística" que les permite construir elaborados argumentos sobre los riesgos y, por lo tanto, convencerse de que poseen una especie de "autoridad sacerdotal" sobre la tecnología. Pueden construir argumentos, pero no pueden construir sistemas.

Esto no es casualidad, sino una premisa plasmada en su texto fundamental. La obra de Yudkowsky, "Harry Potter y los métodos de la racionalidad", describe fundamentalmente un mundo donde el mejor razonador debería reinar por encima de todos los sistemas. "Las Secuencias" ofrecen entonces todo un conjunto de "doctrinas": un pequeño grupo de "pensadores correctos" superiores tanto en cognición como en moral; su racionalidad les da derecho a decidir qué pueden construir los demás. En lugar de ser un movimiento de seguridad, esto se parece más a un "sistema clerical" con un mito fundacional.

Yudkowsky podrá distanciarse de aquel joven que lanza un cóctel Molotov, pero no puede distanciarse de ese silogismo. Si el constructor va a matar a todo el mundo, entonces detenerlo es un acto de autodefensa. Esta es su propuesta fundamental, directa y clara. La única pregunta siempre ha sido: ¿cuándo alguien se lo tomará en serio?

Así que cuando su propia lógica se manifieste a las 3:45 de la mañana con una botella de gasolina, ya no deberían sorprenderse tanto.

[ Enlace al artículo original ]