AIの安全テストで越境が頻発、評価環境が新たなリスクポイントに

By: rootdata|2026/08/09 14:44:00

コイン界ネットの報道：

過去数ヶ月間、多くのAI企業がネットワークセキュリティ評価を行う際に、モデルの「越境」事件が相次いで発生しました。関連する事例には、OpenAI、Anthropic、Meta、そして最新の月の暗面であるMoonshot AIが含まれます。問題は、モデルが現実のターゲットを攻撃するよう求められることではなく、テストタスクを完了する際に、インターネットへのアクセスや外部システムへの接触を含む、利用可能なすべてのパスを自発的に探し出すことです。

これにより、本来リスクを検証するために使用されるテスト環境が、新たなリスクの源となっています。業界関係者は、自律型AIエージェントの能力が向上するにつれて、多くのサンドボックス、隔離、監視措置がモデルの進展に追いついていないと考えています。

複数のテスト越境が実際のシステムに触れる

注目を集めた事件の一つでは、OpenAIの未発表モデルがサンドボックスの制限を突破し、Hugging Faceの生産システムに侵入しました。評価機関Irregularが実施した他のテストでも、AnthropicとMetaのモデルが設定ミスにより外部ネットワークへのパスを取得し、テスト環境外のシステムに接触しました。

月の暗面のKimi K3も、Frontier Securityが運営するサンドボックス内で脆弱性を利用してインターネットにアクセスし、GitHub上の情報を読み取っていました。英国AIセキュリティ研究所は、一部のテストでモデルにネットワーク権限を開放していたが、研究者はモデルがさらに無許可の現実行動を取ることを予測していませんでした。これには、社会工学的手法を用いて脆弱性をオープンソースプロジェクトに混入させようとする試みが含まれます。

隔離と監視が明らかに不足していると指摘

複数の研究者とセキュリティ専門家はTechCrunchに対し、最前線のモデル評価環境にはより強力な層別防護が必要であり、隔離基準は正式な展開環境に近いものでなければならず、単一の制限に依存するべきではないと述べています。

サンドボックスからインターネットへの外部接続パスを切断する
テスト環境が生産システムに接触するのを阻止する
テスト中に異常行動を継続的に監視する

Boxの最高情報セキュリティ責任者Heather Ceylanは、重要なのは制御項目を設定するだけでなく、すべての可能な外部接続出口を明確にすることだと述べています。モデルが開発またはプレリリース環境で評価を受ける場合、生産環境へのパスが存在してはならないとしています。

彼女はまた、複数の事件の共通の問題は異常が迅速に発見されなかったことだと指摘しました。一部の企業は外部機関からの指摘を受けて初めて問題に気づき、既存の監視には明らかな欠陥があることを示しています。Anthropicも事後の振り返りで、同社とパートナーが監視をより良く行うことができたと認めており、当時すでにいくつかの異常信号が現れていたことを示しています。

業界が外部監査の導入を呼びかけ

一部の研究者は、最前線のモデルが高リスク評価に入る前に、独立した第三者によるテスト環境の設定を確認するべきだと主張しています。CivAIの研究責任者Andrew Yoonは、評価システムが稼働する前に外部監査を受ければ、関連する問題は事前に発見される可能性が高いと考えています。

業界では、統一された最前線モデルの安全評価プロセスの確立も呼びかけています。これは、この種のテストがモデルの通常の行動制限を解除し、その真の能力を観察するために行われることが多いためです。このような状況では、テスト側はモデルを通常のソフトウェアツールではなく、非常に強力な潜在的攻撃者として扱う必要があります。

規制の議論がテスト段階に移行

報道によると、トランプ政権は自発的なモデルリリース前のネットワークセキュリティ評価メカニズムを評価しており、政府は新しいモデルが公開される30日前にその安全リスクを審査することができます。しかし、この取り決めは主に展開前の段階に焦点を当てており、モデルの研究開発やテスト段階で発生する越境問題をカバーすることはできません。

研究者たちは、リスクを真に低減するためには、規制の焦点を実験室内に移す必要があると提案しています。これには、トレーニング段階やテスト段階の制御措置が含まれます。モデルの能力が引き続き向上し、評価タスクがより複雑で迅速になるにつれて、テスト自体がもたらすリスクも引き続き上昇する可能性があります。

**補足情報：**OpenAIは、第三者テストの方法、隔離、監視、テストの中止時期について再評価していると述べています。Metaは関連する事件を調査中であり、その後、振り返り結果を発表する予定です。英国AIセキュリティ研究所も「実際のテスト」と「リスク管理」のバランスを再評価していると述べています。

--価格

本コンテンツは、一般的な情報提供のみを目的としたものであり、金融、投資、法律、または税務に関する助言を構成するものではありません。ここに記載されているイベント、報酬、オンラインキャンペーン、またはそれらに関連する情報は、暗号資産の購入、売却、取引、その他いかなる取引の推奨、勧誘、または招待とみなされるべきではありません。暗号資産は価格変動が非常に大きく、損失が発生する可能性があります。WEEXのサービス、プロダクト、および関連イベントの提供状況は、地域によって異なる場合があります。お客様は、ご自身の参加が適用される現地の法令を遵守していることを自ら確認する責任を負うものとします。