¿Declarle la guerra a la IA? La narrativa del Juicio Final detrás de la residencia de Ultraman en llamas

Título original: La conclusión "racional"
Autor original: ALEXANDER CAMPBELL
Traducción: Peggy, BlockBeats

Nota del editor: A las 3:45 am del 10 de abril, un individuo de 20 años lanzó un cóctel molotov contra la residencia de Sam Altman, luego procedió a caminar hasta la sede de OpenAI y amenazó con un incendio provocado.

Este ataque rápidamente envió ondas expansivas a través de la comunidad tecnológica y de inversión. No sólo se refiere a la seguridad individual, sino que también impulsa una narrativa extrema que se ha prolongado durante mucho tiempo en el texto y las comunidades en línea en la realidad.

Partiendo de la afirmación altamente determinista de "la IA causará la extinción humana" y el razonamiento a través de "debemos reducir el riesgo a toda costa", esta lógica se deslizó gradualmente hacia la justificación de la acción del mundo real. Cuando una cosmovisión refuerza continuamente su narrativa de "amenaza existencial" y la usa para reconstruir las prioridades morales, se redefinen los límites de la acción: el discurso que una vez fue de bajo costo comienza a conllevar la posibilidad de aplicación.

Este artículo revisa el camino evolutivo dentro de la comunidad del juicio final de la IA: desde la "espiral de purificación" que impulsa la escalada de las evaluaciones de riesgo hasta el juicio ético de los constructores de tecnología, y luego hasta la simplificación de la realidad compleja en el modelo de decisión del "problema de las carretillas". Estas deducciones aparentemente racionales finalmente convergen en una mentalidad consistente pero peligrosa: mientras el resultado se defina como "salvar a la humanidad", los medios pueden continuar expandiéndose.

En este sentido, este evento no es aislado. Es más como una prueba de estrés temprana, que no prueba la tecnología en sí, sino cuando la narrativa, las creencias y las acciones que rodean a la tecnología comienzan a perder la moderación.

El texto original es el siguiente:

¿Quién es el pirómano?

El viernes a las 3:45 am, un hombre de 20 años lanzó un cóctel molotov contra la residencia de Sam Altman. Luego caminó unas tres millas hasta la sede de OpenAI y amenazó con quemarla. Actualmente, ha sido detenido por la policía como presunto autor de un delito de homicidio en grado de tentativa.

El cartel decía: Una persona llamada Daniel Moreno-Gama (alias online dmgama / "Yihadista butleriano") ha sido arrestada por "tentativa de asesinato" y fichada por la policía. Cabe señalar que es un miembro activo de PauseAI. La publicación también hace referencia a una opinión urgente que ha expresado en múltiples ocasiones: "Es cerca de medianoche, hora de actuar de verdad".

No es un "lobo solitario". Es un miembro activo de PauseAI, ocupando seis roles en la comunidad. Su nombre de usuario en Discord es "Yihadista Butleriano".

Su Instagram está casi completamente lleno de contenido del fin del mundo: una curva de la ley del poder titulada "Si no actuamos pronto, todos estamos muertos", junto con un diagrama de Venn que coloca la realidad en la intersección de The Matrix, Terminator e Idiocracy.

Cuatro meses antes del ataque, también recomendó a sus seguidores el artículo "La singularidad tecnológica que se avecina" de Yudkowsky y Soares.

Ins del yihadista butleriano

"The Coming Technological Singularity" es un trabajo seminal en el campamento de Riesgo de IA / Seguridad de IA, presentando una fuerte visión pesimista. Su argumento central puede resumirse de la siguiente manera: una vez que los humanos crean "inteligencia sobrehumana" (IA que supera con creces el intelecto humano) que no está completamente alineada, es muy probable que se salga de control y represente una amenaza existencial para la humanidad. La postura del autor es muy radical, rozando el tipo "más pesimista", creyendo que la IA no es solo "arriesgada" sino casi inevitablemente catastrófica. El autor aboga por extremar la precaución o incluso detener el desarrollo hasta que se resuelva el problema de la alineación.

Se llama Daniel Moreno-Gama.

También tiene su propia pila secundaria. Ya en enero de este año, publicó un artículo titulado "Riesgo Existencial de la IA", estimando la probabilidad de "extinción humana causada por la IA" como "casi segura". Se refiere a esta tecnología como "una amenaza activa para cualquiera que la use, especialmente para aquellos que la construyen". Su conclusión es: "Debemos abordar esta amenaza primero antes de hacer otras preguntas".

También ha escrito un poema imaginando a los hijos de los desarrolladores de IA muriendo y cuestionando la inacción de sus padres. Incluso describe a los creadores de estas tecnologías como: "Que el infierno se compadezca de esas criaturas viles".

PauseAI ya ha eliminado sus mensajes relacionados de su discordia.

Sé que esto no es lo que la mayoría de los lectores esperan ver en un boletín de inversión. Escribo esto para explicar de dónde viene mi visión del mundo, haciendo más fácil entender los juicios a largo plazo que siguen. En cuanto a la propuesta de "New New Deal" que he presentado, es una respuesta directa a esta evolución.

Lo que did-133">hice fue simplemente extrapolar su modelo un paso más allá y conectar los puntos.

Narrativa del Juicio Final de AI Doomers

Empecemos con "Determinismo". La posición de Yudkowsky (el libro mencionado anteriormente) es: una vez que alguien cree una inteligencia artificial suficientemente poderosa, cada persona en la Tierra morirá. No "tal vez", no "posiblemente", sino todo el mundo, incluyendo a su hijo y a su hija Nina, mencionada repetidamente.

Ha expresado esta opinión en la revista Time y también escribió sobre ello en un libro titulado "Si alguien lo hizo, todos moriremos". Incluso argumentó a favor de bombardear centros de datos y creía que el riesgo de conflicto nuclear era más aceptable que una carrera de entrenamiento completa.

La "Espiral de Purificación", un comportamiento radical en continua escalada. Dentro de esta comunidad, los miembros demuestran su "resolución" elevando continuamente la intensidad de su postura: las estimaciones de la "Probabilidad de Extinción Humana (P(doom))" han subido del 50% al 90% y hasta el 99.99999%.

Un portavoz nacional del Centro para la Seguridad de la IA dijo una vez frente a la cámara que la respuesta correcta sería "entrar en los laboratorios de todo el país y quemarlos". PauseAI incluso inició un llamado "Protocolo de Disparo de Advertencia", designando un cierto modelo de IA como un "arma de nivel de extinción". Un líder de PauseAI incluso dijo que una investigadora antrópica "merecía todo lo que estaba a punto de sucederle".

Cuando alguien cuestionó tales declaraciones en PauseAI's Discord, el administrador eliminó directamente ese mensaje.

El día antes del ataque, Neth Soares, coautora del libro de Yudkowsky, tuiteó que Altman estaba "haciendo algunas cosas realmente malas".

A continuación, "Cheap Talk" comenzó a enfrentarse a un reality check.

En teoría de juegos, hay un término llamado "Cheap Talk": se refiere a declaraciones con poco o ningún costo, pero en última instancia limitado por la realidad. Inicialmente, todo el mundo estaba haciendo declaraciones extremas de bajo costo, pero una vez que el tema se enmarcó como una "crisis de supervivencia humana", estos puntos de vista podrían tomarse en serio, legitimando así el comportamiento extremo.

No se trata de incidentes aislados, sino de una serie de reivindicaciones cada vez mayores, que se refuerzan mutuamente, en torno a una ideología algo apocalíptica. Si se lleva a su extremo, esta lógica podría incluso entretener "sacrificar al 99% de la población para salvar al último 1%".

A medida que las cosas avanzaban, alguien tomó estas ideas literalmente y actuó sobre ellas, era solo cuestión de tiempo. Ese joven leyó ese libro, se unió a esa comunidad y escribió su manifiesto. En un ensayo de autorreflexión para una clase de inglés de colegio comunitario, se definió como un consecuencialista: "Si el resultado no coincide, difícilmente creeré en el motivo". Adoptó el apodo de "Yihadista butleriano" para sí mismo. El 3 de diciembre escribió en PauseAI's Discord: "Estamos cerca de la medianoche, es hora de acción real".

Y entonces, tomó medidas.

Le presentaron un "problema de carro": una vida contra toda la humanidad. Tiró de la palanca.

El tweet anterior (Air Katakana) decía: Yudkowsky (yud) plantó un "problema de carro" en la mente de esa persona: en una pista está Sam Altman, en la otra pista está toda la raza humana, incluido Sam Altman. Ese tipo probablemente pensó que iba a ganar el Premio Nobel de la Paz.

El siguiente tuit citado (Randolph Carter) dijo: Una persona hizo una bomba incendiaria en la casa de un CEO de IA, luego se dirigió inmediatamente a OpenAI para amenazar a la gente allí, y esos "doomers" dijeron: "Podría ser cualquiera, no podemos estar seguros..."

Hay una nota irónica final que vale la pena mencionar. Si estos "doomers" realmente creen en sus juicios en el grado que afirman, entonces deberían ser más directos acerca de las implicaciones derivadas de esas creencias.

Apenas unas semanas antes del ataque, un periodista le había preguntado a Yudkowsky: Dado que la IA es tan peligrosa, ¿por qué no ataca los centros de datos? La respuesta, transmitida a través de Suárez, fue: "Si viera un informe de prensa de que hice eso, ¿pensaría: 'Wow, la IA ha sido detenida, estamos a salvo'? Si no, entonces ya sabes que no funcionaría".

Note que esta respuesta no dijo nada. No fue "porque la violencia esté mal", sino "porque no funciona en este momento". Esta moderación se basa en consideraciones estratégicas, no en limitaciones morales. Y esta comunidad lo sabe. Debajo de la superficie se esconde un consenso tácito: el mayor "error" de ese joven fue simplemente el vaivén.

Esto es exactamente lo que quiero decir: Inteligencia no equivale a poder. Este es también el defecto más profundo en toda la cosmovisión "juzgadora".

El marco de Yudkowsky se basa en una paradoja: mientras la IA sea lo suficientemente inteligente, inevitablemente ganará la capacidad de destruir a la humanidad porque "la inteligencia se convierte automáticamente en capacidad". Pero muchos de sus seguidores carecen de antecedentes técnicos. No construyen sistemas de IA ni se dedican a la ingeniería de alineación. Lo que poseen es un tipo particular de "inteligencia lingüística" que puede construir argumentos de riesgo elaborados y así convencerse de poseer una especie de "autoridad sacerdotal" sobre la tecnología. Pueden construir argumentos pero no sistemas.

Esto no es casualidad, sino un escenario escrito en su texto fundacional. "Harry Potter y los métodos de la racionalidad" de Yudkowsky representa fundamentalmente un mundo donde el mejor razonador debe reinar sobre todos los sistemas. "Las Secuencias" ofrecen entonces todo un conjunto de "doctrinas": un pequeño grupo de "pensadores correctos" superiores tanto en cognición como en moral; su racionalidad les da derecho a decidir lo que otros pueden construir. Más que ser un movimiento de seguridad, esto es más como un "sistema de oficina" con un mito de creación.

Yudkowsky puede distanciarse de ese joven que lanza un cóctel molotov, pero no puede distanciarse de ese silogismo. Si el constructor matará a todos, entonces detener al constructor es defensa propia. Esta es su propuesta central, directa y clara. La única pregunta siempre ha sido: ¿cuándo alguien lo tomará en serio?

Así que cuando su propia lógica aparezca a las 3:45 a.m. con una botella de gasolina, ya no deberían actuar tan sorprendidos.

[Enlace del artículo original]