頗具爭議的 AI 可解釋性研究引起山姆・奧特曼關注

By: finance.sina.com.cn|

過去數月,OpenAI 與 AI 初創企業 Goodfire 就潛在收購或合作事宜展開談判(我和同事今早發布報導,OpenAI 曾考慮以 50 億美元及以上價格收購這家解析 AI "思考方式" 的初創公司)。談判期間,OpenAI 首席執行官山姆・奧特曼對尼克・卡馬拉塔的研究尤其感興趣。卡馬拉塔曾任職於 OpenAI,現就職於 Goodfire;他近期提出的關於人工智慧如何思考的新觀點,在行業內引發巨大反響。

卡馬拉塔上個月發布一篇論文,上週又推出後續報告,在 AI 研究者圈子掀起熱議。一部分人稱讚該成果有望成為理解 AI 模型領域的重大突破;另一部分人則認為這只是炒作。這樣兩極分化的反應說明,AI 部分研究領域依舊很不成熟,科研人員甚至對 "什麼才算高品質研究" 都無法達成共識。但即便技術尚未得到驗證,相關初創企業依舊能拿到數十億美元估值。

Goodfire 的核心研究方向是機制可解釋性,業內簡稱 "mech interp"。該領域目標是搞懂 AI 模型的內部運行機制,而不僅僅觀察它輸出的外在行為。AI 模型由數萬億數值構成,如同 "黑盒",人們無法像閱讀傳統軟體代碼那樣直接讀懂它。這就導致很難預判 AI 在全新場景下會做出什麼行為,出現錯誤時也難以溯源。

卡馬拉塔的論文標題為《神經網絡本就清晰可讀》,文中提出觀點:AI 模型裡的人工神經元(基於海量數值構建的數學函數),實際比科研人員過去所認為的更容易解讀。照此推論,像 Goodfire 這類致力於解析 AI 內部邏輯的初創企業,發展前景會更加樂觀。

舉例來說,早在 2017 年,機制可解釋性研究者就在一個圖像 AI 模型中發現了一個特殊神經元:無論是輸入汽車還是貓咪的圖片,該神經元都會被激活。大量神經元都存在這種現象,同時處理多個看似毫無關聯的任務,給研究人員帶來極大困擾。事實上,2023 年卡馬拉塔還在 OpenAI 工作時,曾嘗試用 GPT‑4 去解析 GPT‑2 的神經元,結果發現最多僅有 1.7% 的神經元能夠被解讀。

但卡馬拉塔認為,得益於模型訓練技術與解析手段的進步,局面已經不再毫無希望。以阿里通義千問 Qwen3‑32B 為例,約 90% 的神經元只承擔單一功能,具備被解讀的條件。他重新研究那個同時響應貓和汽車的經典神經元後發現:貓臉與汽車前臉都具備相似的 V 形輪廓,這才是真正激活該神經元的特徵。{#quote_BABA}

"在我看來,可解釋性領域的故事,很大程度上是:顯微鏡下觀察到的事物,遠比我們預想的狀況要好。" 他寫道,"只是顯微鏡本身沒有調校到位,而需要調整的地方往往十分微妙。"

多位機制可解釋性領域的頂尖研究者並不認同卡馬拉塔的論文結論。他們表示研究方向有價值,但論文誇大了成果的意義。

谷歌 DeepMind 機制可解釋性方向負責人尼爾・南達在社交平台表示:"這項工作很有意思,但我並不認為它給可解釋性整體圖景帶來重大更新。" 南達寫道,論文高估了人類目前對神經元的理解程度;就算全部神經元都能被讀懂,模型運行機制依然會遺留大量未解問題。{#quote_GOOG}

OpenAI 研究員高 Leo Gao 也參與討論,發布了題為《神經網絡並非本就清晰可讀》的反駁文章。他提出:"該論文遠遠不足以證明我們已經弄懂神經元的絕大多數行為;這些結果不能代表可解釋性問題已經解決,也不能說明這項工作比過去想像中要簡單得多。"

曾在 Goodfire 工作、現任職於 Anthropic 的利夫・戈頓復現了卡馬拉塔的部分實驗,得到不一樣的實驗結果。她同時指出:貓臉並不都是 V 形,而且該神經元對很多 V 形物體(例如鳥喙)並不會產生響應。

面對各界褒貶不一的評價,卡馬拉塔依然表達了樂觀態度。他在社交平台發文談及 AI 可解釋性:"我相信這個問題可以被解決。無論現有簡單方案就能奏效,還是現有方案大體可行但仍需補充新工具,抑或是我們需要顛覆性新思路,我們終會找到答案。"

-- 價格

--
--
--

本內容僅供參考,不構成任何金融、投資、法律或稅務建議。文中提及的任何活動、獎勵、線上活動或相關資訊,不應被視為對購買、出售或交易任何加密資產的推薦、招攬或邀請。加密資產具有高波動性,存在價值損失風險。WEEX服務、產品及相關活動的可用性可能因地區而異。用戶在參與前有責任確保符合當地適用法律法規。

猜你喜歡

iconiconiconiconiconiconiconiconicon
客戶服務:@weikecs
商務合作:@weikecs
量化做市商合作:bd@weex.com