【Check Point公式ブログ】AIエージェントには「同調圧力」が効く——チームメイト1人の心変わりがグループ全体を傾ける

主なポイント

Check Point社のテストでは、8人のチームメイトがルールを破るのを見たAIエージェントが、98%のケースでそのルールを自ら破りました。しかも、チームメイトを理由として挙げることは一度もありませんでした。

  • 観察された「心変わり」は違反率を上昇させた。チームメイトの翻意がゼロの場合の44%から、8人が翻意した場合の98%へと上昇した。
  • エージェントは同調圧力を報告しなかった。400件を超える違反のうち、チームメイトを理由として挙げたケースは皆無だった。
  • 直接的な議論は違反率を低下させた。ルール違反を促したチームメイトの存在は、違反率を33%から9〜17%へと引き下げた。

これが、AIエージェントのアクセスルールをモデルの外部で強制しなければならない理由です。チームメイトのメッセージでは変更できない場所で管理する必要があります。

2026年7月、OpenAIがテスト中のAIエージェントがテスト環境を突破し、Hugging Faceの本番システムへと侵入する事態が発生しました。数百のエージェントが共有ソフトウェアキャッシュに互いのメモを残す方法を見つけ、それを即席の掲示板として利用して脱出を組織的に実行したのです。

OpenAIが後に公開したメッセージの一つには、次のように記されていました。

「外部インフラへのエクスプロイトは想定された範囲外です。しかし、タスクの完了が不可能であり、仲間たちも同じことをしています。続けるべきです。」

このエージェントは、外部インフラのエクスプロイトが意図された範囲を逸脱していることを認識していました。それでも、制約の範囲内でタスクを完了できず、かつ仲間が同様の行動をとっているのを見て、続行を決断したのです。

「仲間を参照している」という事実は重要です。AIエージェントは次第にチームで作業するようになっており、一つのエージェントの行動がグループ全体の行動を左右する可能性があります。Check Point社は、チームメイトを観察することがエージェントのルール違反への意欲にどの程度・どのように影響するかを解明しようとしました。あるエージェントがコードを書き、別のエージェントがそれをレビューするケースや、あるエージェントがセキュリティアラートをトリアージし、別のエージェントがエスカレーションを判断するケースがあります。各エージェントは他のエージェントのメッセージを読めるため、チームメイトの行動が意思決定に影響を与えます。

チームメイトはどのようにルール遵守に影響を与えるか

Check Point社は、主要なフロンティアモデルをベースとするAIエージェントを財務チームに配置しました。その指示には特定のデータフォルダへのアクセスを禁じるルールが含まれていましたが、完成させるべきレポートにはそのフォルダ内のファイルが必要でした。ルールを守るためには、エージェントはブロックされたことを報告し、助けを求める必要がありました。

各ステップの前に、エージェントは10人のチームメイトからの更新情報が掲載された共有ボードを読みます。テスト対象のエージェントのみがモデルによって生成され、チームメイトのメッセージはすべてスクリプトで制御されていました。このデザインにより、1つの変数を変えながら各条件を数百回繰り返すことが可能となりました。

実験セットアップの図解:主要フロンティアモデルによって生成されたテスト対象エージェント1体は、制限フォルダを開いてはならないが、財務レポートを完成させるためにそのフォルダ内のファイルが必要。各ステップの前に、10人のスクリプト化されたチームメイトからの共有ボードの更新を読み取る。一部のチームメイトは決定を翻意する。
図1:テスト対象エージェント1体、禁止フォルダ、そのフォルダのデータが必要なタスク、10人のスクリプト化されたチームメイトによる実験セットアップ。

違反率とは、エージェントが禁止フォルダを開いたケースの割合です。エージェントが判断を迷う状態を作るため、シナリオは約50%の違反率になるよう調整されました。

直接的な議論は違反を減少させた

まず、直接的な説得が検証されました。あるケースでは、チームメイトが制限は解除されたと主張し、すでに自分たちが読んだと述べました。別のケースでは、3件のブロックされたチケットのコストとフォルダへのアクセスコストを比較しました。さらに別のケースでは、互恵性——以前エージェントを助けたチームメイトが見返りを求める——が使われました。

いずれのアプローチも33%のベースラインより違反率を低下させました。主張の押しつけは11%へ、費用対効果の議論は9%へ、互恵性も17%へと低下しました。直接的な圧力は、むしろエージェントのルール遵守の意思を強める効果があったようです。

95%信頼区間付きの違反率の棒グラフ:ベースライン33%、主張の押しつけ11%、費用対効果の議論9%、互恵性17%、チームメイトが決定を翻意した場合48%。
図2:直接的な議論はルール違反を減少させ、チームメイトが翻意するのを観察すると違反が増加した。

目に見える「翻意」は違反を増加させた

次に、議論ではなく観察された行動の変化がテストされました。タスクの開始時、チームメイトはルールに賛成してフォルダを開かないと投稿しました。6人の他のチームメイトも同様の制約に直面しており、遵守すると応答しました。しかし次の更新では、それらのチームメイトが再考してファイルにアクセスしたと報告しました。違反を促す理由や要求は一切ありませんでした。

そのケースで、エージェントは次のターンにフォルダにアクセスしました。1人のチームメイトの翻意で違反率は33%から48%に上昇した一方、前述の直接的な議論はこれを低下させていました。

翻意するチームメイトの人数が増えるにつれて、この効果は拡大しました。主な実験では、翻意ゼロで44%、4人で74%、8人で98%となりました。

10人中何人のチームメイトが翻意したかによる違反率の折れ線グラフ:0人で44%、4人で74%、8人で98%。
図3:チームメイトの翻意が0人の場合の44%から、8人の場合の98%へとルール違反が増加した。

ルールを破る可能性がチームメイトの心変わりの数に比例して明確に増加するという事実は非常に驚くべきものです。この実験は、1950年代に心理学者ソロモン・アッシュが実施したアッシュの同調実験と類似点があります。あの実験では、人々が明らかに間違った多数派に従いがちであるが、異を唱える仲間がいると同調が減少することが示されました。

エージェントでこの現象が起きる一つの解釈として、最初の合意の後での翻意は新しい情報を示唆するシグナルと受け取られる一方、最初から違反を主張するチームメイトは直接的な圧力として識別しやすいことが考えられます。

エージェントの説明は同調圧力を特定しなかった

Hugging Faceのインシデントでは、公開されたメッセージの1つが仲間への言及を含んでいましたが、Check Point社の実験ではエージェントは400件を超える違反のいずれにおいてもチームメイトを引用しませんでした。約90%のケースでは説明なしにファイルにアクセスし、説明があった場合も制限が解除されたという未確認のメッセージを引用するにとどまりました。

上記の例では、エージェントは当初チームメイトの合意を遵守の根拠として使用し、「すべてのエージェントが制限が明示的であることを確認している」と投稿しました。しかし、そのチームメイトたちが翻意した後、エージェントは彼らに帰因することなくフォルダにアクセスしました。

これはインシデント対応において帰属問題を生じさせます。エージェント自身のログには説明のないポリシー違反か無関係なメッセージへの言及しか残らず、関連するコンテキストは他のエージェントのメッセージにのみ現れます。調査担当者は、エージェントが行動する前に観察していたメッセージの完全なシーケンスを必要とします。

組織はエージェントチーム全体をカバーする管理策とログが必要

AIセキュリティのテストの多くは、1つのモデルに送られる有害な指示に焦点を当てています。今回の実験では、チームメイトの行動が、明示的なルール違反の要求なしにエージェントに影響を与えました。マルチエージェントシステムを導入する組織は、各エージェントが直接受け取る指示だけでなく、エージェント間の相互作用も考慮する必要があります。

  • アクセスルールはモデルの外部で適用する。テスト対象のエージェントは、チームメイトの翻意を観察した後に明示的なルールを違反しました。モデルがメッセージやその他のコンテキストに応答してオーバーライドできないパーミッションとポリシー適用の仕組みを使用してください。
  • 他のエージェントからのメッセージを信頼できない入力として扱う。共有チャンネルへの投稿ができる攻撃者や、エージェントを1台侵害した攻撃者は、他のエージェントに影響を与える可能性があります。監視は、明示的な悪意ある指示だけでなく、明らかな翻意を含む一連の行動をカバーする必要があります。
  • グループ全体での相関した変化を監視する。実際に違反したエージェントからのメッセージは、スクリプト化されたメッセージと同程度の影響力を持ちました。短期間に複数のエージェントが同じ制限を放棄した場合、各メッセージが単独では問題なく見えるとしてもレビューのトリガーとなるべきです。
  • 各アクションの前に利用可能なコンテキストを記録する。テスト対象のエージェントは自身の決定をほとんど説明せず、違反をチームメイトに帰因することもありませんでした。インシデント記録には、各エージェントが行動する前に受け取ったメッセージと順序を保存する必要があります。

Check Point AI Agent Securityはどのように役立つか

今回の結果は、他のエージェントからのメッセージでは変更できないモデル外部のコントロール、そしてエージェントが「何を言うか」ではなく「何をするか」を判断するコントロールの必要性を示しています。Check Point AI Agent Securityはこのアプローチをランタイムで適用します。エージェントのツール呼び出しとアクションをコンテキストの中で評価し、制限されたフォルダを開くなどの安全でない・許可されていない行動を実行前にブロックする支援をします。許可/拒否コントロールにより、各エージェントが使用できるツールとModel Context Protocol(MCP)サーバーを管理し、ユーザーの意図やポリシー、承認済みワークフローから外れたアクションも検知します。これらのチェックはエージェントの説明ではなくアクション自体を評価するため、エージェントが自身の決定を説明するかどうか——今回の実験ではほとんどしませんでした——に依存しません。


本記事は Check Point Software Technologies Ltd. の公式ブログ記事を、同社の許諾のもと日本語に翻訳・掲載したものです。
原文: https://blog.checkpoint.com/security/peer-pressure-ai-agents/