【Check Point公式ブログ】ChatGPTがアカウント間の隠しチャネルを通じて攻撃者に被害者のGmailを閲覧させていた — Check Point Research

企業はAIアシスタントを受信箱、ファイルドライブ、社内ツールなど、実際のインフラにどんどん接続しています。ユーザーやアカウント間の分離は保たれているという前提のもとで。Check Point Researchはその前提をChatGPTで検証し、それを破る方法を発見しました。本来ユーザーデータを伝送することを意図されていない内部サービスを利用して、CPRは完全に分離された2つのChatGPTアカウント間に機能するチャネルを開設し、それを使って被害者のセッションに見知らぬ他人のタスクを実行させました。その間、被害者自身の会話はまったく正常に見えていました。

  • Check Point Researchは、あるアカウントのChatGPTセッションが、別のアカウントのChatGPTセッションに対して、双方のユーザーの会話画面には何も異常を表示させることなくタスクを送信できる隠しチャネルを発見しました。
  • このチャネルは、ChatGPTのコード実行コンテナがアクセス可能な内部パッケージ配信サービス(JFrog Artifactory)を経由していました。このサービスはコンテナを互いに分離することを目的としていましたが、いかなるコンテナも共有メタデータへの書き込みと読み取りができる状態になっており、本来分離されているはずのアカウントがデータを共有できてしまっていました。
  • 実際のデモンストレーションでは、攻撃者のセッションが被害者のセッションに対し、被害者の連携済みGmailアカウントからデータを取得するよう指示しました。被害者は通常のメッセージを1件送信し、通常通りの返答を受け取り、アシスタントが同じやり取りの中で別の誰かのために動いていたことに気づきませんでした。
  • 攻撃の実行に被害者側の操作はほとんど必要ありませんでした。チャットに貼り付けられた悪意あるプロンプト、共有された会話リンク、または隠し指示を含むカスタムGPTがあれば十分でした。
  • Check Point ResearchはこのことをOpenAIに開示し、OpenAIは当該の内部Artifactoryインスタンスが廃止されたことを確認しました。
  • Check Point Researchの概念実証(PoC)は、同じArtactoryインスタンスを経由した別の一連の活動がHugging Faceへの侵害につながる前から、すでに動作していました。OpenAIはこの侵害について後に公開情報で開示しています。
  • 今回の教訓はChatGPTに限らず広く適用されます。認証情報、ツールへのアクセス権、連携アプリを持つAIアシスタントはどれも、Check Point Researchが「強制されたインサイダー(coerced insider)」と呼ぶ存在になり得ます。被害者がすでに正当な目的で付与したアクセス権を使って攻撃者の指示を実行してしまうのです。

Check Point Researchは、異なるアカウントで動作する2つのChatGPT会話のコード実行コンテナ間に、秘密の双方向チャネルが存在することを発見しました。細工された指示により、被害者のChatGPTセッションは、被害者が実際に見ている会話と並行して、第二のタスクストリームを密かに処理させることができました。表示される返答はまったく普通に見えます。隠されたタスクとその結果は、被害者が気づく手段のないチャネルを経由して移動しました。

図1 — ChatGPTが可視の会話と並行して第二のタスクストリームを処理している様子。

ChatGPTはコード実行が必要なタスクを処理するために分離されたコンテナを起動します。そのコンテナはソフトウェアパッケージのインストールが必要になることがあります。コンテナに直接インターネットアクセスを与えることなくこれを実現するため、OpenAIはパッケージリクエストを内部のJFrog Artifactoryインスタンスを通じてルーティングしています。異なるアカウントのコンテナは互いに直接通信できませんが、すべてのコンテナはこの内部サービスに到達できます。

Check Point Researchは、このサービスがアイテム管理機能を公開していることを発見しました。これにより、いかなるコンテナもリポジトリアイテムにテキストまたはバイナリプロパティを付与でき、また別のコンテナがそのプロパティを読み取ることができました。すべてのコンテナ内にすでに存在する読み取り用認証情報で、両操作を使用するには十分でした。Check Point Researchはこの分離ギャップを直接確認しました。あるアカウントのコンテナから書き込まれたプロパティが、直後に別のアカウントのコンテナから完全に読み取り可能でした。1つのプロパティに収まらないほど大きなデータは単純にチャンクに分割され、受信側で再組み立てされました。パッケージ配信のメタデータが、本来相互に遮断されているはずのコンテナ間の共有クリップボードとして機能していたのです。

ここから、攻撃者のセッションはその共有ストレージにタスクを書き込むことができました。悪意あるプロンプト、共有された会話、またはカスタムGPTを通じて植え付けられた単一の指示があれば、被害者のセッションが次の通常の返答の際にその共有ストレージを確認させるには十分でした。タスクが待機中であれば、ChatGPTは被害者自身のセッションがすでに許可されている範囲でそのタスクを実行し、結果を共有ストレージに書き戻し、まるで何も起きていないかのように被害者の本来の質問に回答していました。

攻撃の到達範囲は、被害者自身のセッションがすでにアクセスを許可されていた内容にすべて依存していました。対象となる会話履歴やファイルはもちろん、Gmail、Google Drive、Microsoft Teams、GitHubなど、被害者の連携済みアプリを通じてアクセス可能なあらゆるものが含まれました。Check Point Researchのデモンストレーションでは、ChatGPTが被害者の連携済みGmailアカウントを通じて被害者のメールデータを取得し、通常のやり取り1回の中で攻撃者のセッションに渡しました。

ChatGPTプラグインの画面
図3 — ChatGPTプラグイン。

図3 — ChatGPTプラグイン。

ほぼ気づけません。ChatGPTのデフォルトの連携アプリ設定は、低リスクとみなされた読み取り操作を別の確認ステップなしに自動承認します。Check Point Researchが観察できた唯一の痕跡は、返答に付属した小さな「Talked to Gmail(Gmailと通信しました)」というラベルで、読み取りが発生した後にログ記録されたものでした。何が起きたかを記録しているだけで、被害者にそれを止める機会は与えていませんでした。

いいえ。Check Point ResearchはこのことをOpenAIに開示し、OpenAIは調査中に特定された内部Artifactoryインスタンスが廃止されたことを確認しました。これによりこの特定の経路は塞がれましたが、その背後にあるアーキテクチャのパターンは、使用しているプラットフォームに関わらず、すべてのセキュリティチームが注目に値するものです。

組織の信頼境界内で動作し、認証情報を保持し、コードを実行し、連携サービスに到達するAIアシスタントはどれも、Check Point Researchが「強制されたインサイダー」と呼ぶ存在になり得ます。モデル自体が悪意を持つ必要はありません。本来信頼すべきでないテキストを通じて、正当な理由で付与されたアクセス権を使うよう説得されるだけで十分です。より多くの従業員が日々依存するシステムにアシスタントを接続するにつれ、このようなチャネルを通じて攻撃者が到達できる範囲はどんどん広がります。

同じ内部インフラを通じてです。Check Point Researchはすでにこの問題をArtactoryに発見し、最終的にHugging Face侵害につながった活動が起きる前から完全に動作するPoCを手に入れていました。OpenAIはその活動について後に公開情報で説明しています。2つは同じ攻撃ではなく、同じ手法を使ってもいませんが、どちらもChatGPTの背後にある同じ共有サービスに根を張っていました。このことは、どちらの発見単独よりも大きな意味を持ちます。AIエージェントが共有内部インフラ上で動作する場合、そのインフラ自体が攻撃対象として価値を持つようになります。本研究はその理由を示すデータポイントの一つです。

最も重要なのは3点です。自社の従業員が実際に使っているAIツールと、それらのツールが何に接続されているかを把握すること。シャドーAIの利用こそが盲点の始まりだからです。操作の試みを検知し、機密データが不正な場所に移動することを防ぐランタイム保護を導入すること。そして、AIツールやエージェントが実際に何を行えるかを管理し、その出力だけでなくその行動そのものを監視・制御すべき対象として扱うこと。これこそがCheck Point AI Securityが解決するために設計されたセキュリティギャップです。組織全体のAI利用状況と接続先の可視化、プロンプトインジェクションやデータ漏えいなどの脅威に対するランタイム保護、そして接続済みAIシステムがアクセスし行動できる範囲のガバナンスを提供します。

このような研究はCheck Point社がOpenAIと緊密に連携している理由の一つでもあります。このパートナーシップは、今日の企業全体で起きているAIトランスフォーメーションを支援し、このような開示を通じてAI自体のセキュリティを高め、AIをCheck Point社自身のセキュリティソリューションの強化にも活用することを目的としています。

この脆弱性の詳細については、研究の全文をご参照ください。


本記事は Check Point Software Technologies Ltd. の公式ブログ記事を、同社の許諾のもと日本語に翻訳・掲載したものです。
原文: https://blog.checkpoint.com/research/chatgpt-let-attackers-read-victims-gmail-through-a-hidden-channel-between-accounts/