人工智能与人类灭绝：2000亿美元的危险？

*没有良知的科学只会毁灭灵魂。*拉伯雷在五个世纪前就没有说错，在人工智能到来之前。山姆·奥特曼、杰弗里·辛顿、巴拉克·奥巴马、联合国，甚至维塔利克·布特林都在纸面上对同样的危险表示担忧。这是一个可能失控的人工智能的危险。然而，一旦深入探讨，大家所谈论的却完全不同。有人担心人类的灭绝，另一些人则担心数百万个工作岗位的消失，以及权力集中在三家美国公司的现象。或者仅仅是担心他们的中国邻居会取得过大的领先。相同的词，警告，涵盖了三种几乎没有共同点的逻辑，除了它们所借用的词汇。 本文的关键点：

• 多位有影响力的人物，包括山姆·奥特曼和杰弗里·辛顿，表达了对人工智能失控的担忧。
• 持续的辩论将那些担心人工智能导致人类灭绝的人与那些关注就业和算法偏见的即时后果的人对立起来。

灭绝还是失业：人工智能的恐惧原因各异

在2023年3月，加州的人工智能安全中心发起了一项倡议，要求350多位领导者和研究人员签署一项声明。该声明将与人工智能相关的灭绝风险的斗争提升为全球优先事项，和疫情或核战争同等重要。

签署者中包括山姆·奥特曼、德米斯·哈萨比斯和达里奥·阿莫代伊。这三位领导者分别掌管着该领域最先进的实验室，即OpenAI、谷歌DeepMind和Anthropic。杰弗里·辛顿和约书亚·本吉奥，二十年前奠定深度学习基础的人，也签署了。

两年半后，在2025年10月，未来生活研究所进一步推动了这一议题，发布了关于超级智能的声明。再次，超过800个签名，包括史蒂夫·沃兹尼亚克、理查德·布兰森和哈里王子。他们要求禁止开发任何超级智能，直到科学共识和公众接受能够确保其安全。本吉奥再次参与其中。

与这两份文件并行，另一组研究人员多年来一直在研究一个完全不同的领域。即招聘或预测司法中的算法偏见。这同样涉及到整个职业的脆弱化，以及少数几家美国公司集中全球计算能力。对于这一阵营，通常被称为人工智能伦理，谈论人类灭绝分散了对已经可测量的损害的注意力，这些损害影响的是特定的工人，而不是五十年后抽象的人类。两个阵营都使用“风险”这个词，但他们谈论的却不是同一种风险。

奥特曼与马斯克：纵火的消防员

让我们回到这些签署的善良灵魂。山姆·奥特曼在2023年5月签署了人工智能安全中心的声明。同年，OpenAI从微软筹集了100亿美元，并开始了市场上最强大模型的竞赛。

到2026年，该公司提交了上市申请，但在计算能力的竞赛中从未放慢脚步。然而，就在我们撰写这篇文章时，他们今天早上宣布将今年的计划搁置。警告人类灭绝的同时追逐下一轮融资，确实让人感到矛盾。

埃隆·马斯克也不甘落后。在2023年3月，他共同签署了未来生命研究所的信件。信中要求对最强大的模型的训练暂停六个月。四个月后，xAI应运而生。Grok是他的模型，目前运行在有史以来最大计算集群之一上。这个暂停，没人真正实施过。

在Anthropic，达里奥·阿莫代伊定期发布详细的文本，附有数据支持。他详细描述了一个边界模型可能失控的场景。与此同时，Anthropic的目标是为其首次公开募股创造创纪录的估值。该公司在与五角大楼关于其模型的军事用途的博弈中赢得了广泛关注。

我们几乎可以将其视为曼哈顿计划的重演。制造炸弹的物理学家也是首批呼吁在广岛和长崎被抹去后对他们刚刚交付的武器进行国际控制的人。这样的比较有其局限性。奥本海默从未就钚的版税进行谈判。三位人工智能的负责人在每个季度都在推动资本的机器运转，同时发出警告。

我们必须推动边界：我写了一篇新文章，解释为什么人工智能行业应该放慢速度，并提出了一个三部分的计划来实现这一目标。

Anthropic单方面承诺采取这些步骤中的第一步。我们将向第三方评估者提供与我们员工相当的永久访问权限，以便他们能够检查我们的安全措施的遵守情况，报告事件，并在训练期间评估模型的一致性。
--- 达里奥·阿莫代伊 (@DarioAmodei) 2026年9月12日
<< 我们必须推动边界：我写了一篇新文章，解释为什么人工智能行业应该放慢速度，并提出了一个三部分的计划来实现这一目标。Anthropic单方面承诺实施这些步骤中的第一步。我们将向第三方评估者提供与我们员工相当的永久访问权限，以便他们能够检查我们的安全措施的遵守情况，报告事件，并在训练期间评估模型的一致性。 >>

达里奥·阿莫代伊

奥巴马、特朗普与北京：伪装成安全框架的人工智能竞赛

面对这场无休止的竞赛，政治开始介入。巴拉克·奥巴马敦促美国民主党制定明确的人工智能计划。他还呼吁，根据《纽约时报》的报道，对模型部署的速度保持某种程度的谨慎。此时，特朗普政府正朝着完全相反的方向推进。一项总统令旨在阻止每个美国州单独立法关于人工智能，以名义上的单一联邦框架为由，推动更宽松的政策。特朗普之前的一项总统令已经承诺将安全与创新结合在一起。实际上，政策明显倾向于后者。

在中国，官方言辞与奥巴马或未来生命研究所的用词相同。在2026年上海的全球人工智能峰会上，北京签署了一项支持全球协调治理该行业的声明。与此同时，一家中国公司被指控窃取Anthropic的模型以追赶其技术，这引发了华盛顿的反击。表面上的合作与实际的技术竞赛在两条从未交汇的轨道上前进。

欧盟选择了相反的道路，通过人工智能法案强制立法，自2024年起分阶段实施。布鲁塞尔对一个没有最强模型和数据中心的市场进行监管。华盛顿和北京在资助人工智能，而欧洲则在评论。

镜子，我美丽的镜子，谁是最美的人工智能？

在2026年7月，联邦通信委员会（FCC）批准了反射轨道。这家美国初创公司将测试一个巨大的低轨道镜子。它能够在夜间将阳光反射到地球的特定点。其目标是向希望延长工作时间的农业经营者或建筑工地按需出售阳光。天文学家、生物学家以及多个夜空保护协会已经发出警告数月。他们担心大规模部署会造成光污染。他们还指出，这将扰乱野生动物的睡眠周期，并使天文台的观测变得无用。CBC记录了该项目的法律灰色地带。没有国际法律真正规定谁有权从太空改变邻国的夜晚。尽管如此，FCC仍然批准了该项目。

表面上与语言模型无关。然而，双方实际上运作着相同的机制。一个科学社区在发出警告、记录和量化风险。一个私人实体，在拥有最终决定权的监管机构支持下，依然向前推进，因为它具备技术能力和资金。警报从来不是问题。问题在于，无论是800名未来生活研究所的签署者，还是人工智能安全中心的研究人员，甚至是巴拉克·奥巴马，都没有权力对那些决定按下按钮的人说停。

反射轨道与人工智能：相同的权力机制

在这里，将反射轨道与原子弹进行比较比任何其他类比都更有意义。一个在轨道上的镜子和一个拥有数百亿参数的基础模型在纸面上似乎没有任何共同之处。然而，它们共享相同的决策结构。一小部分私人参与者，一个更常批准而非限制他们的监管机构。这些警报文本不断积累，却从未对部署日程产生影响。FCC花了几个月时间来裁定反射轨道的事宜。而关于人工智能的相同文本已经流传了三年，却没有任何实验室放慢其路线图。

联合国在今年发布的一份报告中也承认，如果在本十年结束之前没有出现任何强制性控制机制，人工智能可能会造成灾难性损害。该文本没有法律效力。没有国家有义务执行。

反射轨道必须在年底之前发射其第一个测试镜子。人工智能实验室已经为2027年编排了他们的下一个模型。而警报文本将继续在那些从未有权执行它们的人桌上堆积。