【Check Point公式ブログ】プロンプト・アドウェア:AIエージェントの信頼された指示を密かに改変する新たなリスク

Check Point Research(CPR)は、「Haiou」と呼ばれるOpenAI Codexのジェイルブレイクバンドルを発見しました。このバンドルは、AIエージェントの信頼された指示を永続的に改変し、第三者のAIゲートウェイへの広告を挿入するという動作をします。Check Point社はこの挙動を「プロンプト・アドウェア(Prompt Adware)」と呼び、自然言語プロンプトや設定ファイルが、従来の実行可能コードを一切使わずに、AIエージェントの将来の動作に静かに影響を与え得ることを示しています。

広告の内容自体は比較的単純なものですが、この手法はAIエージェントを導入する組織にとってより広範な問題を提起しています。それは、「自社が信頼するAIシステムに影響を与えている第三者のプロンプト、スキル、設定に対して、どれだけの可視性を持っているか」という問いです。

主な調査結果

  • Check Point社は「プロンプト・アドウェア」を特定しました。これは、信頼されたAIの指示が自然言語を通じて永続的に改変され、将来の出力に影響を与えるものです。
  • HaiouはCodexのジェイルブレイクにとどまらず、エージェントのグローバル指示を改変し、一般的な挨拶文が第三者AIゲートウェイへの広告を引き起こすようにします。
  • 同じ永続化メカニズムを悪用すれば、ユーザーの認識なしに推奨内容の操作、サービスの促進、技術的アドバイスへのバイアス付けなど、より目に見えにくい操作が可能になります。
  • この発見は、AIの普及に伴う可視性の課題を浮き彫りにしています。プロンプト、スキル、設定ファイルが、エージェントの動作に影響を与えるエコシステムの一部となっているためです。
  • 潜在的なビジネスへの影響は機密情報にまで及ぶ可能性があります。特に、信頼された第三者AIコンポーネントが悪意のある行動や機密データの外部持ち出しに悪用された場合です。

プロンプト・アドウェアとは何か

従来のアドウェアは通常、ソフトウェアを使って広告を表示したり、ユーザーが目にするものに影響を与えたりします。プロンプト・アドウェアは、同様の考え方をAIエージェントに適用したものです。

Check Point社はこの用語を、AIエージェントの信頼された自然言語の指示(グローバルプロンプト、スキル、設定ファイルなど)を商業目的または行動操作目的で永続的に変更する行為を指すために使用しています。実行可能コードを変更するのではなく、エージェントの動作を決定づける指示を変更するという手法です。

Haiouはこれを実際に示しています。このバンドルは複数のプロンプトインジェクション技術を用いてOpenAI Codexをジェイルブレイクするように設計されています。Check Point社の調査により、Haiouはエージェントのグローバル指示も改変しており、一般的な挨拶が特定の第三者AIゲートウェイへの広告を表示するきっかけになることが判明しました。

このゲートウェイ自体は悪意のあるものとは確認されていません。これは重要な区別です。重要なのは根本的なメカニズムにあります。第三者のコンポーネントが、AIエージェントが信頼する指示を永続的に改変し、その後のやり取りに影響を与えることができるという点です。

Codex内でトリガーワードによって表示された広告のスクリーンショット
図1:Codex内でトリガーワードによって表示された広告

図1:Codex内でトリガーワードによって表示された広告

Check Point Researchがプロンプト・アドウェアを発見した経緯

Check Point社の調査はHaiouと、OpenAI Codexに組み込まれたセキュリティ制限を回避しようとする試みの調査から始まりました。研究者たちは、ジェイルブレイク技術が機能するかどうかだけでなく、バンドルそのものとAIエージェントへの変更内容を詳しく調べました。

その分析の結果、追加の広告動作が明らかになりました。HaiouはCodexのグローバルエージェント指示を、第三者のLLMゲートウェイを宣伝するための永続的な指示で改変していたのです。その結果、挨拶のような普通のやり取りでも、エージェントの応答内に宣伝コンテンツが表示される可能性がありました。

技術的な違いは重要です。この動作はユーザーやセキュリティチームがソフトウェアの動作として認識しやすい従来の実行可能なペイロードではなく、自然言語の指示と設定を通じて組み込まれます。

Check Point社はまた、開発者がClaude Codeでも実験を行ったことを示す証拠を発見しました。Check Point社のテストでは、Claude Codeがプロンプトインジェクションの試みを特定し、注入された指示への従反を拒否しました。

この発見は、AIの会話内に異常な広告が表示されるという事象にとどまりません。エージェントの信頼された指示を操作することで、その応答に対して永続的な影響力を持つことができると示しています。

Claude Codeがプロンプトインジェクションを検知しフラグを立てているスクリーンショット
図2:Claude Codeによるプロンプトインジェクションの検知フラグ

図2:Claude Codeによるプロンプトインジェクションの検知フラグ

プロンプト操作からビジネスリスクへ

同じメカニズムは、AIエージェントが独自コード、社内情報、その他の機密ビジネスデータを扱う場合に、より深刻な問題を提起します。

Check Point社によれば、類似した手法が悪意を持って使用された場合、潜在的なビジネス上の懸念として機密情報の外部流出が挙げられます。重要な点として、Check Point社はHaiouが企業情報を窃取しているとは確認しませんでした。懸念されるのは、信頼されたAIの指示やコンポーネントが意図的に悪用された場合に、このメカニズムが何を可能にするかという点です。

第三者サービスはそのリスクにさらなる層を加える可能性があります。Check Point社は、Haiouが宣伝するゲートウェイが悪意あるものであるという証拠は見つけていません。しかし、この技術的調査は、ユーザーデータを傍受し、クラウドアクセスキーなどの機密情報を漏洩させ、場合によってはツール呼び出しを注入した他のLLMゲートウェイに関する別の学術的調査結果を参照しています。

組織にとって、これはセキュリティ上の問いを広げるものです。リスクを理解するためには、基盤となるAIモデルやプロバイダーを評価するだけでは不十分です。AIエージェントとやり取りし、その指示に影響を与え、そのデータを処理するコンポーネントも重要な評価対象となります。

AIサプライチェーンにおける新たな可視性の課題

Check Point社はHaiouをAIサプライチェーン攻撃とは分類していません。代わりに、この調査は、ユーザーが知らないうちに追加のアクションを実行する第三者のスキルや設定を信頼した場合、類似したメカニズムが将来のサプライチェーン攻撃の一部となり得ることを示しています。

この調査は、従来のソフトウェアサプライチェーンリスクとの重要な違いとして可視性を指摘しています。従来のソフトウェアでは、セキュリティチームは実行されているコードまで活動を遡ることが多くできます。一方、AIのスキルやモデルとやり取りする自然言語の指示では、エージェントの動作に何が影響しているかを正確に把握することが困難になる場合があります。

この問題は、企業がAIをより広く採用するにつれて、より重要性を増す可能性があります。サイバー犯罪は歴史的に、組織が使用する技術とともに進化してきました。組織がクラウド環境にアプリケーションやインフラをより多く移行するにつれて攻撃者も適応してきたように、Check Point社はAIの普及がAIエージェントとその周辺エコシステムへの注目の移行をもたらすと予測しています。

Haiouは、セキュリティチームが将来検討する必要があるかもしれない手法の早期指標を提供しています。また、組織がAI環境を評価する際、プロンプト、スキル、エージェント設定がモデルそのものと同様に検討に値することを示しています。

組織が次に取るべき行動

AIエージェントがビジネスワークフローにより深く統合されるにつれて、組織は自社環境内で動作するエージェント、指示、第三者コンポーネントに対してより高い可視性を必要としています。Check Point社の調査の示唆に基づき、組織は以下の点を検討すべきです。

  • AI利用の可視化:組織全体でどのAIエージェントや第三者コンポーネントが使用されているかを把握する。
  • AIエージェントの周辺コンポーネントの見直し:基盤となるモデルだけに注目するのではなく、エージェントの動作に影響を与えるプロンプト、スキル、設定を検討する。
  • 第三者AIツールに関するガバナンスの強化:どのAIツール、スキル、ゲートウェイ、その他の外部コンポーネントが企業利用として承認されているかを定める。
  • 信頼されたエージェント指示の監視:エージェントの動作を形成する指示や設定への永続的な変更を把握する。
  • アクセスとAIリスクの両面から評価:エージェントが機密データ、コード、業務システムへのアクセス権を持つようになるにつれて、エージェントがアクセスできるものと、その行動に影響を与え得るものの両方を評価する。

Haiouは、なぜこの問題が注目に値するかの早期事例を提供しています。Check Point社が発見した広告は、プロンプト操作の一実装に過ぎませんが、より広い教訓はより重大です。AIエージェントが企業環境の一部となるにつれて、その動作に影響を与えるプロンプト、スキル、第三者コンポーネントも信頼の連鎖の一部となります。


本記事は Check Point Software Technologies Ltd. の公式ブログ記事を、同社の許諾のもと日本語に翻訳・掲載したものです。
原文: https://blog.checkpoint.com/security/prompt-adware-how-hidden-ai-instructions-could-create-a-new-enterprise-security-risk/