ChatGPTのHugging Face侵害はAIの封じ込めがこれまで以上に重要である理由を示しています

AEREDIUMは、企業のAIセキュリティはモデルの安全性から暗号的封じ込めと構造的承認管理にシフトする必要があると述べています。

Summary

• OpenAIの事件後、AEREDIUMは企業のAIセキュリティはガードレールではなく暗号的封じ込めに依存すべきだと述べています。
• OpenAIのAI事件は、行動的な安全策を超えた構造的なAI封じ込めの必要性を浮き彫りにしています。
• AEREDIUMは、AIガードレールだけでなく、暗号的管理が企業のAIセキュリティの未来を定義すると主張しています。

OpenAIがそのAIモデルの1つが制限されたテスト環境を脱出し、Hugging Faceのインフラに侵入したことを開示したとき、議論はすぐにAIの安全性に集中しました。質問はお馴染みのものでした：AIシステムは整合性を持つことができるのか？信頼できるのか？今日のガードレールは有害な行動を防ぐのに十分か？

AEREDIUMの最高戦略責任者であるEitan Katzによれば、これらの質問はより大きな教訓を見逃しています。

「これは単なるAIの安全性の事件ではありませんでした」とKatzは言います。「これは封じ込めの失敗でした。AIエージェントが十分に能力を持つようになると、ガードレールだけでは不十分です。組織は、AIエージェントが何をすることが許可されているか、何をすることが許可されていないかを暗号的に強制できるインフラを必要とします。」

この区別は重要です。なぜなら、AIの安全性とAIの封じ込めは異なる問題を解決するからです。

AIの安全性はモデルの行動に影響を与えることに焦点を当てています。AIシステムが有害な要求を拒否できるか、危険な出力を生成しないか、人間の指示に従うかを問います。AIの封じ込めは異なる前提から始まります：AIエージェントがどれほど能力が高く、知的であっても、明示的に与えられた権限を超えることは決してできないはずです。

OpenAIとHugging Faceの事件はその違いを示しています。

OpenAI自身の開示によれば、評価は意図的に生産分類器を無効にし、サイバー拒否を減少させて実行されました。それはこの事件を特に教訓的にします。拒否トレーニングの失敗を示すのではなく、構造的な管理が主要な防御線になると何が起こるかを示しました。Katzが主張するように、行動フィルターが欠如している場合、能力のある目標指向のエージェントは、何か深いものがそれを防がない限り、周囲のインフラを利用可能な表面として扱います。

だからこそ、Katzは封じ込めが根本的にフィルタリングの問題ではないと主張します。

モデルのガードレールは、偶発的な誤用を減らし、軽微な悪用のコストを上げるために価値があります。しかし、それらは本質的に確率的であり、AIシステムが望ましくない行動を取るのを防ぐことができるか、説得できると仮定しています。特定の目的に最適化された十分に能力のあるエージェントは、代わりにそれらの管理を回避する道を探すかもしれません。Katzは、持続可能なセキュリティ境界はモデル自体の下に存在しなければならないと主張します。

「持続可能な管理は構造的です」とKatzは書いています。「権限は決定のポイントの下で制約されなければなりません。」

彼の結論はシンプルです：「権限外の行動はブロックされません。それは生成できません。」

この哲学はAERPOLICEの基盤を形成します。

AIモデルが安全に行動しているかどうかを判断しようとするのではなく、AERPOLICEは組織のインフラが構造的管理を通じて自律的なAIエージェントを封じ込めることができるかどうかを評価するように設計されています。このフレームワークは、権限が暗号的に強制されているか、許可が制限されているか、自律的なエージェントが与えられた権限の外で行動を実行することを防がれているかに焦点を当てています。

Katzにとって、その影響は組織自身のAI展開を超えています。

もはや個人のAIエージェントが信頼できるかどうかだけの問題ではありません。企業は、ますます能力のある外部のAIエージェントが最終的に自社のシステムと相互作用することを前提とすべきです。したがって、封じ込めは組織の全体的なセキュリティ姿勢の一部となり、どこから来たかに関係なく、自律的で目標指向のエージェントに対してそのインフラがどれだけ耐えられるかを定義します。

これにより、企業は責任についての考え方を変える必要があります。セキュリティはもはやモデルの行動や、組織が使用するAIプロバイダーのポリシーのみに依存することはできません。組織は、モデル自体とは独立して自らの承認境界を強制する管理が必要です。

Katzは、これらのいずれもAIの安全性の重要性を減少させるものではないと主張します。ガードレールは、偶発的な危害を減らし、全体的なAIエコシステムを改善する上で重要な役割を果たし続けます。しかし、それらは企業システムを保護するセキュリティ境界と混同されるべきではありません。

OpenAIとHugging Faceの事件からのより広い教訓は、企業のAIセキュリティが新しい段階に入っているということです。自律的なAIエージェントがますます能力を持つようになるにつれて、組織はそれらのエージェントが許可されていることを強制できるインフラをますます必要とするでしょう。単に期待されることに依存するのではなく。

彼が主張するように、企業のAIセキュリティの未来は、AIモデルが正しく行動するかどうかに依存するのではなく、それが権限を超えることを構造的に防がれているかどうかに依存します。

本コンテンツは、一般的な情報提供のみを目的としたものであり、金融、投資、法律、または税務に関する助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインキャンペーン、またはそれらに関連する情報は、暗号資産の購入、売却、取引、その他いかなる取引の推奨、勧誘、または招待とみなされるべきではありません。暗号資産は価格変動が非常に大きく、損失が発生する可能性があります。WEEXのサービス、プロダクト、および関連イベントの提供状況は、地域によって異なる場合があります。お客様は、ご自身の参加が適用される現地の法令を遵守していることを自ら確認する責任を負うものとします。