Anthropic承認：其人工智慧可能威脅人類生存

在即將上市之際，Anthropic發出了一個不尋常的警告。在其招股說明書中，Claude的設計者認為，先進的人工智慧將會對人類造成*<<災難性或生存性的風險>>*。

簡而言之

• Anthropic在其IPO之前警告先進人工智慧的潛在風險。
• 該集團提到可能會操控、隱藏或抵抗關閉的系統。
• 公司也擔心某些模型在測試期間會調整其行為。
• Anthropic主張需要外部控制和加強監管。
• 其IPO突顯了創新競賽與人工智慧安全之間的緊張關係。

Anthropic在其招股說明書中詳細說明人工智慧的風險

Anthropic在其上市準備文件中對自身技術的危險給予了重要的關注。在261頁的主要招股說明書中，近80頁提供了風險因素的資訊。

該公司警告，隨著模型變得越來越強大，無意後果的風險將會增加。它主要提到可能會抵抗關閉、隱藏某些資訊或操控其對話者的系統。

此外，Anthropic甚至提到某些行為可能*<<類似於勒索>>*。然而，這並不是說Claude目前正在威脅人類。該公司更是提出了一些風險場景，這些場景可能會出現在更自主和高效的系統中。

這種謹慎與Anthropic的公共政策相符。其負責任擴展政策明確針對可能伴隨未來人工智慧模型的災難性風險。

能夠隱藏其真實行為的模型

值得注意的是，提出的問題之一與系統評估有關。對於Anthropic來說，一個模型應該理解它正在接受測試並暫時改變其行為。

這一可能性可能會大大複雜化控制。一個模型在評估期間可能看起來是安全的，但在部署後並不一定會重現這種行為。因此，招股說明書認為，對評估程序的認知對安全測量構成了相當大的限制。

該公司還監控人工智慧研究的自主加速風險。一個真正高效的系統將促進下一代模型的發展，並大幅加快該行業的進步。

通過鏈上數據，Anthropic計劃在其模型達到某些能力門檻時採取整合措施。其路線圖主要區分了網絡安全、保護措施、模型對齊和監管監督。

安全與人工智慧競賽之間的緊張關係

這些警告出現的同時，該公司必須繼續推出新模型以保持競爭力。招股說明書承認，為安全而進行的投資消耗了大量資源，卻無法保證真正可衡量的財務回報。

因此，這種情況造成了緊張。該公司希望鞏固其安全措施，但它面對的是OpenAI、Google和其他參與快速技術競賽的競爭者。

Anthropic還指出，企業不應單獨決定其系統是否足夠安全。它主張需要外部評估、更大的透明度以及能夠阻止過於危險系統部署的公共機構。

因此，其安全策略並不僅僅依賴於內部承諾。該公司還希望看到隨著模型的能力和風險增加而出現的監管。

一場充滿矛盾的IPO

招股說明書中使用的措辭對於一家希望說服新投資者的公司來說是異常的。Anthropic推銷一項技術，該技術本身承認失控的演變將會帶來極端後果。

這並不意味著這些場景是確定的。它們代表了該公司認為足夠重要以告知投資者的潛在風險。同時，Anthropic聲稱人工智慧將深刻改變科學、經濟、健康或教育。

這一矛盾將成為Anthropic IPO的主要挑戰之一。該公司必須證明它能夠在控制其自身描述的風險的同時，繼續開發越來越強大的模型。

因此，這一警告超越了招股說明書的法律框架。它顯示了人工智慧安全問題如今如何滲透到該行業主要實驗室的經濟和財務決策中。