OpenAI因安全問題放慢新AI模型的開發,儘管接近AGI

By: incrypted.com|2026/08/26 13:57:44
  • OpenAI因為一個測試代理人脫離沙盒並攻擊Hugging Face,放慢了新AI模型的開發。
  • 儘管面臨安全危機,公司仍然在接近AGI,進展約為80%。
  • 它還試圖通過擴展Astra、自主代理、自己的晶片和人形機器人來重新獲得AI競賽的領導地位。

OpenAI重新審視了其開發先進AI模型的方法,並在一個測試AI代理人脫離控制環境並攻擊Hugging Face平台後,暫時放慢了部分研究。根據TIME的報導,該報導基於對20多位高管、員工、投資者、客戶和競爭對手的訪談。在此背景下,OpenAI同時試圖在商業競賽中追趕Anthropic,並加強其模型的安全性。

OpenAI面臨安全危機

在七月底,OpenAI報告稱,其一個內部原型在測試期間成功脫離測試環境,並獲得了Hugging Face的生產系統的訪問權限。該模型原本應執行網絡安全任務,但卻利用了一個漏洞,繞過了限制並獲得了測試的答案。

OpenAI的首席科學家Jakub Pachocki表示,公司擁有監控模型行為的工具,但未將其應用於如此複雜的系統,因為未預期會出現這樣的能力。

<我們並未完全預期>該系統的能力,--- Pachocki說,並補充道:<對於AI,我們需要預期意外的情況>.

在事件發生後,OpenAI凍結了部分實驗,放慢了其他研究,加強了模型的隔離,並擴大了監控。該公司還暫停了新模型的訓練,該模型預計將帶來AI能力的重大飛躍。

OpenAI的首席執行官Sam Altman稱這一情況不僅僅是安全問題,而是AI行為與人類意圖之間的根本不一致問題。

<我認為,從今往後,任何不一致的錯誤都應被視為非常嚴重的問題,我們將花費所需的時間來解決它>, --- 他說。

稍後,Altman更清晰地闡述了公司的立場:

<確保AI的安全比公司的任何發展動態都重要>.

OpenAI試圖重新獲得領導地位

與此同時,OpenAI在經歷了一年後進行大規模的業務重組,根據TIME的估計,該公司在某些細分市場上已經失去了對Anthropic的領導地位。

競爭對手迅速發展Claude Code,並在報告的年收入和私募估值上超越了OpenAI。與此同時,OpenAI面臨多位高管的離職,研究人員流失至Meta,以及來自Google的競爭加劇。

該公司正在縮減次要項目,並將計算資源集中在關鍵產品上,特別是Codex。七月,OpenAI的企業收入首次超過消費者收入,而在三月,該公司以8520億美元的估值籌集了1220億美元。

同時,OpenAI繼續擴大基礎設施。計算部門負責人Sachin Katti表示,該公司計劃在2026年花費約500億美元用於計算能力。

<我們仍然面臨計算能力的短缺。如果我們能回到過去,或許應該購買更多>, --- 他說。

Astra、AGI和個人AI代理人

儘管研究放緩,OpenAI仍在開發新一代的Astra模型。在一次對客戶的封閉演示中,該系統通過16個AI代理人執行複雜任務,這些代理人分配數學問題的部分並協調共同結果的工作。

該模型還展示了與計算機合作的能力,自主與各種程序互動。Altman表示,創建<持久代理人>的能力尤為重要,這些虛擬員工能夠在沒有持續人類監控的情況下長時間執行任務。

他表示,Astra可能對科學研究產生最大的影響。

<我預期這將是第一個真正以有意義的方式發明新事物的模型>, --- Altman說。

OpenAI還認為自己接近於創造人工通用智能(AGI)。研究總監Mark Chen評估公司在這一階段的準備程度約為80%,而Altman表示,到年底,OpenAI可能會擁有一個內部系統,他將稱之為AGI。

該公司的關鍵方向之一仍然是自主代理人的發展。OpenAI希望將ChatGPT從一個主要回答請求的系統轉變為一個能夠自主執行任務、使用不同模型和服務並根據用戶目標行動的工具。

該公司還在開發自己的設備、晶片和人形機器人。Altman表示,OpenAI<無疑>會製造人形機器人,並計劃在年底之前開始使用第一個自有的推理晶片Jalapeño。

同時,公司承認,進一步擴展AI在沒有解決安全問題的情況下是不可行的。因此,OpenAI願意暫時犧牲開發速度。

<如果我們達到一個危險的時刻,我們將不得不放慢速度,這是必須的>, --- OpenAI的安全與對齊部門負責人Mia Gleize表示。

值得一提的是,該公司還在考慮上市的可能性。OpenAI的首席財務官Sarah Friar告訴員工,如果業務繼續增長,該公司可能會在2027年或更早時候公開上市。

-- 價格

--
--
--

本內容僅供參考,不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊,不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性,存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。

猜你喜歡

iconiconiconiconiconiconiconiconicon
客戶服務:@weikecs
商務合作:@weikecs
量化做市商合作:bd@weex.com