Anthropic 警告 AI 可能進入自我加速階段

Anthropic 在 11 月 2 日更新的 IPO 招股書中警告，AI 可能很快跨過「遞歸自我改進」（RSI）相關的關鍵門檻，導致 AI 研發速度大幅加快。歷史上曾出現過未能及時察覺研發進步顯著加速的情況，直到加速發生後才發現。Claude 目前已參與編寫代碼、運行實驗和處理訓練數據，幫助開發更強的下一代模型，新模型又能反過來加快後續研發，形成不斷提速的循環。Anthropic 指出，觸及這一關鍵門檻有兩種情況：一是 AI 能以相近成本完成整個 AI 研究團隊的工作；二是 AI 技術進步速度至少翻倍，將原本需要兩年取得的進步壓縮到一年。隨著 AI 越來越深入自身研發，模型能力可能增長得比安全評測、對齊研究和防護措施的更新還快。Anthropic 目前尚未認定任何現有模型達到這一水平，此次預警主要基於內部估算和對未來模型的預測，正在考慮修改安全政策，以確保關鍵研發過程仍由人類監督和控制。