セキュリティプログラムは完了の瞬間を軸に構築されてきました。脆弱性が修正され、管理策が承認され、リリースが進められる、といった具合です。

しかし、AIセキュリティはこのモデルに従おうとしません。

テストに合格することは有用な証拠ではありますが、それは特定のシステム、特定の構成、特定の時点においてのみ有効です。

本番稼働中のAIは常に変化し続けます。モデルは動作を変え、プロンプトは修正され、検索ソースが追加され、エージェントはツールを獲得し、ユーザーは予期しないコンテキストを持ち込みます。攻撃者も同じように素早く適応します。昨日のクリーンな結果が、明日のリスクを説明するとは限りません。

これが、継続的AIレッドチーミングの実践的根拠となってきました。そして今、米国国立標準技術研究所(NIST)の研究が、その数学的基盤を提供しています。

「Robust AI Security and Alignment: A Sisyphean Endeavor?」において、NISTのシニアサイエンティストであるApostol Vassilev氏は、ゲーデルの不完全性定理の論理をAIセキュリティに適用しています。その結論は不快かもしれませんが有用です:有限の一連のガードレールでは、敵対的プロンプトに対して普遍的に堅牢にはなれないのです。

これはAIガードレールが無意味だという意味ではありません。恒久的な保証を目標とすることが間違っているという意味です。

AIセキュリティに最終テストが存在しない理由

AIガードレールとは、システムをポリシーの範囲内に保つために設計されたルールと制御です。入出力の検査、ツールの制限、コンテンツのフィルタリング、権限の強制、動作の監視などが含まれます。それぞれがAIシステムを有意義に安全にできます。

しかし、すべての防御システムには限界があります。

人間の言語は、攻撃者に広大な作業空間を与えます。有害な意図は、難読化、ロールプレイ、間接的な指示、段階的なマルチターンのエスカレーション、珍しい言い回し、別の言語、または外部ソースから取得されたコンテキストを通じて隠すことができます。AIエージェントの場合、攻撃はドキュメント、電子メール、Webサイト、API、または接続されたツールを経由することもあります。

この研究に関するNISTの説明によれば、攻撃者が有害な意図を隠す方法の数は事実上無限です。固定された防御モデルでは、あらゆる可能な形式を予測することはできません。

これが、既知の攻撃を打ち負かすことと、未知の攻撃が成功しないことを証明することの違いです。

防御者はジェイルブレイクをブロックし、間接的プロンプトインジェクションのパスを塞ぎ、権限境界を厳格化し、または安全でないツール呼び出しを停止できます。これらの改善は重要です。しかし、既知のすべてのテストに合格することが、システムがまだ遭遇していないあらゆるプロンプト、コンテキスト、または攻撃パスに耐えられることを証明するわけではありません。

したがって、AIセキュリティには最終試験がありません。あるのは改善プロセスです。

セキュリティの問題は予防ではなく恒久性にある

NIST研究から間違った教訓を導き出すとすれば、予防は無益だというものでしょう。

より有用な教訓は、予防は学び続けなければならないということです。

NISTの証明は、攻撃者に次の成功するプロンプトを構築するレシピを与えるものではありません。防御者は依然として既知の弱点を取り除き、攻撃者に新しいものを探すことを強いることができます。発見され、理解され、修正されるすべての攻撃パスは、別のパスを見つけるために必要な労力を増加させます。

これは成功の尺度を変えます。目標は、AIシステムが永遠に安全であることを認定することではありません。成功する攻撃を、段階的により困難に、より高価に、検出しやすく、そして発生した際の被害を少なくすることです。

これはセキュリティチームにとって馴染みのある領域です。どの組織も、ファイアウォールルール、検出シグネチャ、脆弱性スキャン、またはインシデント対応計画が永遠に十分であり続けるとは期待していません。AIについて異なるのは、環境の速度と曖昧さです。自然言語はインターフェースであると同時に、攻撃対象の一部でもあります。同じリクエストは無数の方法で表現でき、システムの応答は前回のテストには存在しなかったコンテキストに依存することがあります。

NISTの実践的な推奨は明確です:組織は弱点の絶え間ない探索にコミットし、攻撃者に先んじなければなりません。

NISTが指し示すセキュリティモデル

NISTモデルには3つの連結した要素があります。

第一は継続的な敵対的発見です。レッドチームは、実際の攻撃者が見つける前に、システムを意図された境界の外に押し出すことができるプロンプトと攻撃パスを積極的に探します。この探索は、明白なジェイルブレイクを超えて、取得されたコンテキスト、ツールの使用、権限、マルチターン動作、およびアプリケーション固有のビジネスロジックまで拡張する必要があります。

第二は継続的な強化です。発見は何かを変えるべきです。チームはプロンプトを修正し、ポリシーを強化し、データソースを制限し、権限を狭め、ガードレールを更新し、ワークフローを再設計し、または新しいランタイム制御を追加する可能性があります。発見された攻撃は、同じ弱点が静かに戻ってこないように、回帰テストスイートの一部になるべきです。

第三は運用レジリエンスです。どの予防モデルも、すべての攻撃が阻止されると仮定する正当性を与えません。組織はまた、AIシステムが影響を与えられる範囲を制約し、疑わしい動作を検出し、証拠を保存し、成功した攻撃の影響を制限し、迅速に回復する必要があります。

これらは3つの別々のプロジェクトではありません。発見は強化の証拠を提供します。強化は本番制御を改善します。本番監視は新しい動作と攻撃パターンを明らかにします。これらの観察が次のテストの優先順位を作ります。

結果は、ゴールラインではなくループです。

レッドチーミングがフィードバックを生み出す

「AIレッドチーミングが未知を既知にする」において、Check Point社は、敵対的テストがどのように広範な懸念を具体的な発見に変えるかを説明しました:このシステムは、この構成で、このパスを通じて操作され、この影響を引き起こす可能性がある、という具合です。

エンタープライズ規模では、そのテストは、モデル、プロンプト、コンテキスト、ツール、権限、およびワークフローがどのように相互作用するかを理解するのに十分な深さと広範なカバレッジを組み合わせる必要があります。

次のステップは、すべての有用な発見をセキュリティプログラムの一部にすることです。

成熟したワークフローは、レッドチームが成功した攻撃を実証したときに終わりません。失敗した制御とビジネスへの影響を特定します。システムオーナーに変更を行うための証拠を提供します。修正を検証するために攻撃を再実行します。将来のモデル、プロンプト、ツール、またはワークフローの変更が同じ障害モードに対してチェックできるように、テストを保存します。

これにより、実践的な運用ループが作成されます:

発見 → 脅威モデリング → レッドチーム → 優先順位付け → 強化 → 保護 → 監視 → 再テスト

一部のテストはスケジュールに従って実行されるべきです。一部は変更によってトリガーされるべきです:新しいモデル、修正されたシステムプロンプト、追加された検索ソース、新しいコネクタ、拡張されたエージェント権限、または変更されたワークフロー。新たに発見された攻撃技術と本番インシデントも、テストの優先順位に直接フィードされるべきです。

これが脅威インテリジェンスを運用可能にする方法です。1つのAIシステムに対して観察された技術は、防御者が他のシステムで何をテストするかを通知できます。結果は悪意のあるプロンプトの静的なライブラリではありません。攻撃がどのように進化し、実際のAIアーキテクチャを通じてどのように伝播するかについての継続的に更新される理解です。

テストから本番保護へ

レッドチーミングは何を停止すべきかを示します。ランタイムセキュリティは、システムが稼働している間にそれを停止する機会を提供します。

テストが機密データの漏洩を明らかにした場合、チームは検索アクセスを変更し、データ制御を強化し、プロンプトを修正し、またはランタイムで入出力を検査する必要があるかもしれません。エージェントが許可されたツールを悪用できる場合、答えはより狭い権限、より強力な承認境界、または実行前にアクションを評価する制御を含むかもしれません。信頼できるコンテンツを通じて悪意のある指示が到着する場合、防御は外部コンテキストがモデルの動作を形成する前にそれを検査する必要があるかもしれません。

これが、テスト、監視、保護が孤立したレイヤーとして動作できない理由です。

Check Point AI Defense Planeは、従業員、AIアプリケーション、エージェント全体にわたって、発見、保護、ガバナンス、アシュアランスを統合します。アシュアランスは、システムと制御が安全に動作するかどうかを継続的にテストします。ランタイム保護は、プロンプト、データ、出力、ツール呼び出し、およびエージェントアクションが本番リスクを生み出す場所で機能します。ガバナンスは、これらの制御が実施するポリシーと境界を決定します。発見は、AIがどこに存在し、何に到達できるかを示します。

各機能は他の機能をより鋭くします。本番保護のないテストは弱点を見つけますが、実際の攻撃を止めません。敵対的テストのない保護は、チームがすでに理解していることに対して防御するかもしれませんが、システム固有の攻撃パスを見逃す可能性があります。修復と再テストループのない監視は、改善ではなくアクティビティを生み出します。

継続的なAIセキュリティは、それらの間のつながりに依存しています。

安全にビジネスを行うには生きたプログラムが必要

「CISOの契約の再定義:ビジネスの保護から安全なビジネスの実行へ」において、Check Point社のAIセキュリティ担当GMであるAdam Ely氏は、セキュリティリーダーは組織がAIとともに前進できるよう支援すべきであり、前進できない理由になってはならないと主張しています。

NISTの発見は、それが運用上何を必要とするかを補強します。

ビジネスにAIを展開する自信を与えることは、リリース前の結果に基づいて恒久的な承認を提供することを意味しません。モデルは再訓練され、エージェントは進化し、接続は拡大し、デプロイメントのリスクプロファイルは変化します。自信は、組織がそれらのシステムを可視化し、敵対的圧力下でテストし、本番で保護し、新しい弱点が出現したときに対応できることを知ることから来なければなりません。

これは、すべてのAIユースケースに最大限のテストを適用することを意味するわけではありません。リスクが深さと頻度を決定すべきです。内部要約ツールと、顧客記録や財務ワークフローにアクセスできるエージェントは、同一の扱いを受けるべきではありません。

これは、失敗が重大な影響を生む可能性のあるシステムに対して、アシュアランスを定期的なセキュリティ機能として扱うことを意味します。テストは早期に始まり、意味のある変更の周辺で継続し、エンジニアリング、ガバナンス、ランタイム制御、インシデント対応とつながっていなければなりません。

これがセキュリティを実現者にする方法です。「速く動く」と「安全を保つ」という脆弱な選択を、両方を行うように設計された運用モデルに置き換えます。

自己満足のない自信

NISTの研究は、組織に避けられないAIの失敗に降伏するよう告げているわけではありません。1つの成功したテストまたは1つの慎重に設計されたガードレールのセットが、この質問を永遠に解決できるという快適な考えを放棄するよう告げているのです。

より強力なモデルは能動的です。攻撃者の前に弱点を探します。発見をより良い防御に変えます。稼働中のシステムを保護します。通過するものの影響を制限します。すべての教訓を次のテストにフィードバックします。

問題はもはや、AIシステムが永遠に安全であると宣言できるかどうかではありません。組織が、攻撃者が適応するよりも速く、弱点を発見し、防御を強化し、影響を減らすことができるかどうかです。

特定時点のテストがなぜ誤った自信を生み出すかについてのより深い考察については、ホワイトペーパー「Why Your AI Passes Tests But Still Fails in Production」をダウンロードしてください。

Check Point社が組織のAIシステムを継続的に圧力テストし、発見を実行可能な改善に変える方法については、Check Point AI Red Teamingをご覧ください。

ホワイトペーパー

Why Your AI Passes Tests But Still Fails in Production

AIシステムがリリース後になぜ安全性から逸脱するのか、そして継続的で敵対的なレッドチーミングが静的テストが見逃す攻撃パスをどのように明らかにするかについて、より深く掘り下げます。一度限りの検証から継続的なAIアシュアランスへの移行についての実践的な視点です。

ホワイトペーパーを読む →