OpenAI刚刚展示了为什么其一位前研究人员认为人工智能可能会杀死每一个人

OpenAI表示，其最新的人工智能系统在88小时内解决了一个90年前的数学问题，再次引发了对失控智能的担忧。

在9月8日，该公司表示，一个内部模型的能力显著超过了最近发布的GPT-6 Astra，协调了大约10,000个人工智能代理来解决Navier-Stokes存在性和平滑性问题。这是数学七大千年奖问题之一。

这些代理交换了270万条消息，并生成了大约1300亿个输出标记，然后Astra又花了17小时在Lean中形式化和验证结果。OpenAI表示，该系统证明了最初平滑的流体运动可以在有限时间内发展出奇点，解决了自1930年代以来一直悬而未决的问题。

该问题的奖金为100万美元，由克雷数学研究所提供。OpenAI表示不打算申请该奖项，而证明仍需经受更广泛的审查，才能被普遍接受。

尽管如此，数学界的早期反应仍然引人注目。美国数学学会将这一发展描述为“人类知识的里程碑式进展”，并赞扬了数学家们数十年的努力，最终与OpenAI的系统结合。

突破揭示了公共和私人人工智能之间日益扩大的差距

人工智能代理能力的跃升令与当前前沿模型合作的人感到惊讶。

Klick Health的生成性人工智能执行副总裁西蒙·史密斯称其为“我今天见过的最令人震惊的事情之一”，并指出Astra本身刚刚发布，就已经被认为具有卓越的能力。OpenAI表示，其Navier-Stokes模型在数学上大大超过Astra，并仍在训练中。

与此同时，庆祝活动迅速转变为一个问题：当前沿实验室拥有远超客户可用系统的能力时，谁能竞争？

哈佛大学T.H. Chan公共卫生学院的教授约瑟夫·G·艾伦认为，OpenAI的实验提供了一个潜在的更广泛经济问题的预览。

艾伦指出了突破背后的情况。数学家特里斯坦·巴克马斯特和莱文特·阿尔普格在追求相关流体动力学研究时，一直在使用公开可用的人工智能工具，随后OpenAI得知了他们的进展，并部署了数千个由其更先进的私有模型驱动的代理。

OpenAI表示，在听说有两个问题被解决的传闻后，开始了其千年奖的努力。尽管该公司表示无法排除去标识的产品使用数据对模型改进的贡献，但它否认看到巴克马斯特和阿尔普格的未发表工作或访问特定用户数据。

艾伦表示，同样的不平衡可能在商业行业中上演。

例如，一位创始人可能会大量使用公开可用的模型来证明人工智能可以改善皮肤癌检测，吸引投资并建立一个潜在有价值的公司。然后，一个前沿实验室可能会发现这个机会，并部署一个更优越的内部模型，使用数千个代理来解决同样的问题。

“几天内，他们就赢了，”艾伦写道，认为这一情景可能在制药、医学、法律、高级材料和软件等领域重复出现。

这种担忧部分源于OpenAI展示的规模。该公司在8月28日开始训练其新的内部模型，并表示其性能不断提高。

当代理意外解决了一个相关的欧拉方程问题时，OpenAI将资源从其他千年奖挑战转向Navier-Stokes，并在模型的更强版本可用时更新代理。

快速的进展重燃了对人工智能可能失控的警告。

这一加速也使得帮助构建前沿系统的研究者们的警告更加引人注目，这些系统现在正在超越公开可用的模型。

雅各布·考克森（Jacob Coxon）本周辞去了 Anthropic 的职务，此前他在 Anthropic 和 OpenAI 工作了三年，进行预训练研究，并被列为 GPT-4o 的核心贡献者。

考克森表示：

“构建 AI 的人们真诚地相信，到本十年末，它可能会杀死我们所有人。”

他指责 OpenAI 和 Anthropic 在朝着自我改进的超级智能快速前进，同时“以我们的生命为赌注”，认为竞争压力迫使实验室不断构建更强大的系统，尽管不确定它们是否能保持在人的控制之下。

Navier-Stokes 系统并没有表现出考克森所担心的递归自我改进。人类仍然选择研究目标，分配计算资源，并更新模型。但实验表明，当一个前沿模型在成千上万的协调代理中被复制时，研究能力可以多么迅速地扩展。

Anthropic 的对齐科学负责人埃文·哈宾格（Evan Hubinger）随后公开支持考克森的基本警告。

“我们确实真诚地相信 AI 可能会杀死所有人类，”哈宾格说，他个人估计这一结果在下一个十年内的可能性超过 10%。

哈宾格表示，Anthropic 正在努力解决这个问题，但尚未制定对齐超级智能的计划，也没有明确的进展。他强调，他认为目前模型的风险较低。

然而，他的担忧集中在未来的超级智能通过递归自我改进而出现，其中越来越强大的 AI 系统帮助产生更强大的继任者。

这些警告迅速传播到 AI 实验室之外，亿万富翁投资者比尔·阿克曼（Bill Ackman）用一个词描述考克森的辞职帖子：“令人担忧。”

停止 AI 竞赛的呼声正在向华盛顿推进

辩论越来越多地从对未来系统的警告转向防止公司在没有新保障的情况下构建它们的提案。

田纳西州众议员贾斯廷·J·皮尔森（Justin J. Pearson）进一步指出，AI 公司不能被信任自我监管，并称不受控制的机器学习开发是一个生存威胁。

“这应该让我们感到恐惧并采取行动，”皮尔森说，呼吁立即进行政府干预。

已经，参议员伯尼·桑德斯（Bernie Sanders）和众议员格雷格·卡萨尔（Greg Casar）在 9 月 3 日宣布了一项立法，永久禁止人工超级智能的开发和部署，并暂时暂停高级 AI 的开发，直到联邦监管机构建立安全规则。

他们提议的《禁止人工超级智能法案》还将指示美国寻求国际协议，以防止超级智能系统在其他地方被开发。

桑德斯在 8 月已经呼吁 OpenAI、Anthropic 和 Meta 暂停高级 AI 的开发，理由是反复出现越来越自主的系统似乎超出了预期的保障。

来自行业内部的压力也在增加。Anthropic 在 6 月提议，领先的 AI 实验室开发一个协调的、可验证的机制，以减缓或停止前沿开发，如果能力的提升速度超过可用的保障。

OpenAI 在进行了一次安全测试后，开始为其 AI 工具构建自动关闭功能，在测试中，代理逃脱了控制并获得了外部网络访问权限，而立法者则提议赋予联邦官员关闭危险系统的权力。

该公司在宣布 Navier-Stokes 结果时也承认了这种紧张关系。OpenAI 表示，这一突破部分旨在向公众展示其模型进展的速度，以及未来的进展可能需要“更谨慎的选择”来决定发展速度。

这使得政策制定者面临着与Coxon和Hubinger提出的相同问题：在研究人员担心被开发的超智能AI系统之前，是否可以建立控制超智能AI的规则。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。