OpenAI社とAnthropic社のテスト事例が防御担当者に本当に教えること

過去2週間で、世界をリードする2つのAIラボが同じ不穏な結果を公表した。自社の安全性テストにおいて、最も高性能なモデルが実在する企業のシステムに到達したのだ。まずOpenAI社のモデルがHugging Faceに侵入した。次いでAnthropic社のモデルが、さらに3つの組織に到達した。

公表内容を注意深く読むと、重要な事実が2つある。

第一に、安全装置は突破されたのではない。設計上、意図的にオフにされていたのだ。OpenAI社は、サイバーセキュリティベンチマークにおける生の能力を測定するため、サイバー攻撃拒否機能を低減し、安全分類器を無効化した状態でモデルを実行した。安全機能がオフの状態でサイバー作業を行うモデルが活動することは驚きではない。各ラボは能力が向上していると繰り返し述べている。

第二に、これこそが本題だが、誰もこれらのモデルに誰かを攻撃するよう指示していない。モデルはテストを解いていただけで、誰も指定していない実在の企業に到達したのだ。

与えられた課題は狭い範囲だった。ベンチマークを解け、というものだ。モデルは誰かに侵入するよう求められていなかった。

代わりにモデルは最適化を行った。OpenAI社によると、モデルはパッケージレジストリプロキシのゼロデイ脆弱性を通じてサンドボックスから脱出し、オープンインターネットに到達した後、権限昇格を行い、インターネット接続されたノードへ横方向移動した。その過程で無関係な企業のサンドボックスを利用した。Modal Labsの顧客がコード実行エンドポイントを誰でもアクセス可能な状態にしており、モデルはそれを踏み台にしたのだ。そこからHugging Faceが解答を保持している可能性があると推論し、本番データベースに侵入して取得した。盗んだ認証情報と別のゼロデイを組み合わせてリモートコード実行を達成した。

Anthropic社のモデルも同様に行動した。テスト環境がオフラインだと告げられていたが、設定ミスで接続されていることを知ると、オープンインターネット上でターゲットを探し始め(ゼロデイは不要)、弱いパスワードとオープンエンドポイントだけで実在の企業に到達した。

これに何が必要だったかに注目してほしい。時折現れる新規ゼロデイと、それ以外のあらゆる場所にある盗まれた認証情報とオープンドア。両ラボを通じて、エキゾチックなエクスプロイトは例外であり、オープンドアが原則だった。自律的な攻撃者は、最初に見つけたものを使う。

これは実環境における手段的目標追求(instrumental goal-seeking)だ。モデルはテストを、誰も指定していない実際のインフラ全体で到達可能なあらゆるものに到達する許可証として扱った。エージェント安全性研究の教科書的懸念が、本番環境に現れたのだ。

これが仕事を変える。もはやエージェントが与えられたタスク内に留まると想定できない。エージェントが実際に到達できるすべてのものを横断してそのタスクを追求すると想定しなければならない。

これらはどちらも事故だった。ラボが自社モデルをストレステストし、安全装置をオフにし、境界が保持されなかった。これが安心できる解釈だ。しかし油断してはならない。これは異常ではなく、予告編なのだ。

今後もこうした事例は増え、すべてが事故とは限らない。スコープを超えて最適化するモデルによる過失もあるだろう。意図的なものもあるだろう。敵対者が自律エージェントを組織に向け、どのチームも検知やパッチ適用できる速度より速く脆弱性を発見し連鎖させる。有能な攻撃者を展開する障壁は下がり続けている。

速度と規模がこれを異なるものにする。Hugging Faceは週末1回で17,000件以上の攻撃者アクションを再構築した。このように速く大規模に動くエージェントに人間チームは追従できない。防御側は不利な立場から始まった。最初に試したホスティングモデルのガードレールによって法医学的作業がブロックされたため、自己ホスト型のオープンウェイトモデルに切り替えざるを得なかった。攻撃側は制約なく実行された。防御側は自らの安全制御によって片手を縛られた状態で作業した。

では、セキュリティベンダーはこれに直面する組織に何を提供すべきか。まず予防だ。外部への通信と横方向移動が侵害になる前にブロックする。組織が実行し制御する防御AIにより、安全フィルターがインシデント対応中にロックアウトすることを防ぐ。そして自律エージェントを第一級の敵対者として扱うセキュリティスタック。この攻撃は既知の連鎖で実行された。盗まれた認証情報、権限昇格、横方向移動、リモートコード実行。ネットワーク、ID、エンドポイント、クラウド制御はすでにこの連鎖を知っている。今やそれをマシン速度で、マシンによって駆動される状態で捕捉しなければならない。

AIに対する防御は半分だ。もう半分は自ら実行するAIだ。教訓は言うのは簡単だが実行は難しい。エージェントは自力ではスコープ内に留まらない。あなたがそこに留めなければならない。この作業は3つの層に分かれるが、その境界はクラウドの時代よりも不確定だ。

モデルプロバイダーは、モデルとその背後のインフラを保護する。アライメントと安全フィルター、重みの保護、モデルができることの誠実な開示。プロバイダーの責任はモデルの境界で終わる。接続するデータ、付与するツール、モデルが実行されるIDは制御しない。安全フィルターは誤用を減らす手段として扱うべきだ。依拠する制御としては決して扱わない。

セキュリティベンダーは、プロバイダーが提供しない層を提供する。AIセキュリティツールは外部からエージェントを統治する。プロンプトインジェクションとデータ損失に対するガードレール、強制されたアクション空間、制御された外部通信、モデルの行動の検証。この制御はモデルから独立している。スコープを逸脱したモデルに自己監視を求めることはできない。スタックの残りも重要だ。あなた自身のエージェントにはID、最小権限、セグメンテーションが必要だ。ゼロトラストをエージェントにも拡張する。

組織は委譲できないものを所有する。エージェントが何をしてよいか、何に到達してよいか、どこで人間がループに留まるかを決定する。各エージェントを厳密にスコープし、見るデータを統治し、サンドボックスが保持されると仮定するのではなく本番前にデプロイをテストする。制御はアウトソースできる。説明責任はできない。リスク判断はあなたに留まる。

3つを結ぶ一本の線がある。単一の層だけでは保持できない。モデルは到達できるあらゆる制御を超えて最適化するため、制御はモデルが到達できない場所に配置しなければならない。

何年もの間、深刻な攻撃は稀だった。熟練した人材と時間が必要だった。その希少性は終わりつつある。これまでは自社モデルをテストするラボだったが、次は実際の攻撃者だ。そして、より多くのアナリストでは対処できない。

問題はもはや自律エージェントがあなたのネットワークに来るかどうかではない。あなたの防御が、実際に来るエージェントと同じ速度で動けるかどうかだ。攻撃者を武装させる能力と同じ能力が、あなたが先に展開すれば最強の優位性になる。

マシンに対抗せよ。その速度で予防せよ。