AIに対して宣戦布告する？ウルトラマンの炎の中の居住に関する終末論的な物語

原題：「合理的」結論
原著者：アレクサンダー・キャンベル
翻訳：ペギー、ブロックビーツ

編集者の注：4月10日午前3時45分、20歳の個人がサム・アルトマンの住居にモロトフカクテルを投げ、その後オープンAI本社に歩いて行き、放火を脅迫しました。

この攻撃はすぐにテクノロジーと投資コミュニティに衝撃を与えました。それは個人の安全に関わるだけでなく、長い間テキストやオンラインコミュニティに存在していた極端な物語を現実に引き上げました。

「AIは人類の絶滅を引き起こす」という非常に決定論的な主張から始まり、「あらゆるコストでリスクを減らさなければならない」という論理を通じて、この論理は徐々に現実の行動を正当化する方向に滑り込んでいきました。世界観が「存在の脅威」という物語を継続的に強化し、それを用いて道徳的優先順位を再構築する場合、行動の境界が再定義されます—かつては低コストだった言論が、実行の可能性を伴うようになります。

この記事は、AI終末論コミュニティ内の進化の道筋をレビューします：リスク評価のエスカレーションを促進する「浄化の螺旋」から、技術者の倫理的判断、そして複雑な現実を「トロリー問題」の意思決定モデルに単純化するまで。これらの一見合理的な推論は、最終的には一貫したが危険な心構えに収束します：結果が「人類を救う」と定義される限り、手段は拡大し続けることができます。

この意味で、この出来事は孤立したものではありません。むしろ、初期のストレステストのようなものです—技術そのものをテストするのではなく、技術に関する物語、信念、行動が制約を失い始めるときのテストです。

以下は原文です：

放火犯は誰ですか？

金曜日の午前3時45分、20歳の男性がサム・アルトマンの住居にモロトフカクテルを投げました。その後、彼はオープンAI本社まで約3マイル歩き、焼き払うと脅迫しました。現在、彼は殺人未遂の疑いで警察に逮捕されています。

ポスターには次のように記載されています：ダニエル・モレノ=ガマ（オンラインエイリアスdmgama / "バトリアン・ジハディスト"）という名前の人物が「殺人未遂」で逮捕され、警察に拘留されました。彼はPauseAIのアクティブなメンバーであることが記されています。その投稿は、彼が何度も表明した緊急の見解にも言及しています：「真夜中に近づいています。本当に行動する時です。」

彼は「孤独な狼」ではありません。彼はPauseAIのアクティブなメンバーであり、コミュニティ内で6つの役割を持っています。彼のDiscordのユーザー名は「バトリアン・ジハディスト」です。

彼のInstagramはほぼ完全に終末論的なコンテンツで埋め尽くされています："早く行動しなければ、私たちは皆死んでしまう"というキャプションのついたパワーロー曲線や、現実をマトリックス、ターミネーター、イディオクラシーの交差点に置いたベン図が含まれています。

攻撃の4ヶ月前、彼はフォロワーにユドコウスキーとソアレスによる「来るべき技術的特異点」という記事を推奨しました。

バトリアン・ジハディストのインス

「来るべき技術的特異点」は、AIリスク/AI安全キャンプにおける重要な作品であり、強い悲観的見解を示しています。その核心的な主張は次のように要約できます：人間が「超人間的知能」（人間の知性をはるかに超えるAI）を作成し、それが完全に整合していない場合、制御を失い、人類に対して存在的脅威をもたらす可能性が非常に高いということです。著者の立場は非常に過激で、「最も悲観的」な種類に近く、AIは単に「リスクがある」だけでなく、ほぼ避けられない壊滅的な結果をもたらすと信じています。著者は、整合性の問題が解決されるまで、開発を極度に慎重に行うか、さらには停止することを提唱しています。

彼の名前はダニエル・モレノ=ガマです。

彼は自分のSubstackも持っています。今年の1月早々に、彼は「AIの存在リスク」というタイトルの記事を発表し、「AIによる人類の絶滅」の確率を「ほぼ確実」と見積もりました。彼はこの技術を「それを使用するすべての人々、特にそれを構築する人々にとっての積極的な脅威」と呼んでいます。彼の結論は次の通りです：「他の質問をする前に、この脅威に対処しなければなりません。」

彼はまた、AI開発者の子供たちが死ぬことを想像した詩を書き、彼らの親の無行動を問いかけています。彼はこれらの技術の創造者を次のように表現しています：「地獄がそのような卑劣な生き物に少しでも同情しますように。」

PauseAIはすでに彼の関連メッセージをDiscordから削除しました。

これはほとんどの読者が投資ニュースレターで見ることを期待しているものではないことは知っています。私はこれを書くことで、私の世界観がどこから来ているのかを説明し、その後の長期的な判断を理解しやすくしています。私が提案した「新しい新しいニューディール」提案は、この発展に対する直接的な応答です。

私がしたことは、彼らのモデルを一歩先に推測し、点をつなぐことでした。

AIドゥーマーの終末論的物語

「決定論」から始めましょう。ユドコウスキー（前述の本）の立場は、誰かが十分に強力な人工知能を創造すると、地球上のすべての人が死ぬというものです。「もしかしたら」ではなく、「可能性がある」でもなく、すべての人 — あなたの子供や、彼が繰り返し言及した娘のニーナも含めて。

彼はこの見解をタイム誌で表明し、「もし誰かがそれを作ったら、私たちは皆死ぬ」というタイトルの本でも書きました。彼はデータセンターを爆撃することを主張し、核紛争のリスクが完全な訓練実行よりも受け入れやすいと信じていました。

「浄化の螺旋」は、絶え間なくエスカレートする過激な行動です。このコミュニティ内では、メンバーは自らの「決意」を証明するために、立場の強度を絶えず高めています。「人類絶滅確率（P(doom)）」の推定値は50％から90％、さらには99.99999％にまで上昇しました。

AI安全センターの全国スポークスパーソンは、カメラの前で「全国の研究所に入り込み、それらを焼き払うのが正しい反応だ」と言ったことがあります。PauseAIは「警告ショットプロトコル」と呼ばれるものを開始し、特定のAIモデルを「絶滅レベルの武器」と指定しました。PauseAIのリーダーは、あるアンソロピックの研究者が「彼女に起こるすべてのことに値する」とさえ言いました。

誰かがPauseAIのDiscordでそのような発言に疑問を呈したとき、管理者はそのメッセージを直接削除しました。

攻撃の前日、ユドコウスキーの本の共著者であるネス・ソアレスは、オルトマンが「本当に悪いことをしている」とツイートしました。

次に、「チープトーク」は現実のチェックに直面し始めました。

ゲーム理論には「チープトーク」と呼ばれる用語があります：コストがほとんどない、または全くない発言を指しますが、最終的には現実によって制約されます。最初は、誰もが低コストの過激な発言をしていましたが、問題が「人類の生存危機」として枠付けられると、これらの見解は真剣に受け止められ、過激な行動が正当化される可能性がありました。

これらは孤立した事件ではなく、やや黙示録的なイデオロギーの周りでエスカレートし、相互に強化される一連の主張です。この論理が極端に進むと、「人口の99％を犠牲にして最後の1％を救う」という考えすら受け入れられる可能性があります。

事が進むにつれて、誰かがこれらのアイデアを文字通り受け取り、それに基づいて行動しました—それは時間の問題でした。その若者はその本を読み、そのコミュニティに参加し、自らのマニフェストを書きました。コミュニティカレッジの英語の授業の自己反省エッセイで、彼は自分を結果主義者として定義しました：「結果が一致しない場合、動機をほとんど信じないだろう。」彼は自らを「バトラー派ジハード主義者」と名乗りました。12月3日、彼はPauseAIのDiscordに書き込みました：「真夜中が近づいている、実際の行動の時だ。」

そして、彼は行動を起こしました。

彼らは彼に「トロリー問題」を提示した：一つの命と全人類の対比。彼はレバーを引いた。

上記のツイート（エアカタカナ）はこう言った：ユドコウスキー（ユド）はその人の心に「トロリー問題」を植え付けた：一方の線路にはサム・アルトマンが、もう一方の線路にはサム・アルトマンを含む全人類がいる。あの男はおそらくノーベル平和賞を受賞すると思っていた。

次の引用されたツイート（ランドルフ・カーター）はこう言った：ある人がAI CEOの家に火炎瓶を投げ、その後すぐにOpenAIに向かい、そこにいる人々を脅迫し、そしてその「ドゥーマーたち」は言った、「誰でもあり得る、確信は持てない…」

最後に言及すべき皮肉な点が一つある。もしこれらの「ドゥーマーたち」が自分たちの判断を主張するほど信じているのなら、彼らはその信念から導かれる含意についてもっと率直であるべきだ。

攻撃の数週間前、あるジャーナリストがユドコウスキーに尋ねた：AIが非常に危険であるなら、なぜデータセンターを攻撃しないのか？スアレスを通じて伝えられた答えはこうだった：「もし私がそれをしたというニュース報道を見たら、あなたは『わあ、AIは止まった、私たちは安全だ』と思いますか？そうでなければ、あなたはそれがうまくいかないことをすでに知っている。」

この返答は何も言っていないことに注意してください。「暴力が間違っているから」ではなく、「今はうまくいかないから」だった。この抑制は道徳的制約ではなく、戦略的考慮に基づいている。そしてこのコミュニティはそれを知っている。表面下には言葉にされていない合意がある：その若者の最大の「間違い」は単にタイミングを誤ったことだった。

これが私が言いたいことだ：知性は力に等しいわけではない。これは「終末主義者」の世界観全体における最も深い欠陥でもある。

ユドコウスキーの枠組みは逆説に基づいている：AIが十分に賢い限り、必然的に人類を滅ぼす能力を得ることになる。なぜなら「知性は自動的に能力に変換される」からだ。しかし、彼の多くの支持者は技術的なバックグラウンドを欠いている。彼らはAIシステムを構築したり、アライメントエンジニアリングに従事したりしない。彼らが持っているのは、精巧なリスク論を構築できる特定の種類の「言語的知性」であり、そのために自分たちが技術に対して「神聖な権威」を持っていると納得することができる。彼らは議論を構築できるが、システムを構築することはできない。

これは偶然ではなく、その基礎的なテキストに書かれた設定である。ユドコウスキーの「ハリー・ポッターと合理性の方法」は、最も優れた推論者がすべてのシステムの上に君臨すべき世界を根本的に描いている。「シーケンス」は、認知と道徳の両方で優れた「正しい思考者」の小さなグループを提供し、彼らの合理性は他者が何を構築できるかを決定する権利を与える。これは安全運動というよりも、「聖職者制度」のようなもので、創造神話を持っている。

ユドコウスキーはモロトフカクテルを投げる若者から距離を置くかもしれないが、その三段論法からは距離を置くことはできない。もし建設者が全員を殺すつもりなら、建設者を止めることは自己防衛である。これが彼の核心的な提案であり、率直で明確である。唯一の疑問は常に：いつ誰かがそれを真剣に受け止めるのかということである。

だから、彼ら自身の論理が午前3時45分にガソリンのボトルを持って現れたとき、彼らはもうそんなに驚くべきではない。

[オリジナル記事リンク]