AIエージェントのリスク：プロンプトインジェクション

AIエージェントは、質問に答える段階から、行動を起こす段階へと移りつつあります。受信トレイを読み、データベースを照会し、チケットを更新し、メッセージを送信し、APIを呼び出します。この変化によって、セキュリティの状況が変わります。テキストを生成するだけのモデルは誤解を招くことがありますが、ツールを持つエージェントはそのテキストに基づいて行動できます。コンテンツに隠された指示がモデルを誘導するプロンプトインジェクションは、最も広く議論されているリスクですが、いくつかあるリスクの一つにすぎません。本ガイドでは、主なリスクとそれを低減する管理策を平易に説明します。

何であるのか

大規模言語モデルは、運用者からの指示と、処理するデータに埋め込まれた指示とを確実に区別することができません。直接的なプロンプトインジェクションは、ユーザーがシステムのルールを上書きするよう設計された指示を入力した場合に起こります。間接的なプロンプトインジェクションは、Webページ、メール、文書、サポートチケットなど、隠れた指示（たとえばデータの開示やツールの呼び出し）を含む外部コンテンツをモデルが読み込んだ場合に起こります。他のリスクがこれをさらに深刻にします。ユーザーが見るべきでないデータにモデルがアクセスできる場合、機微な情報が漏えいするおそれがあります。エージェントが、メール送信やレコード削除などの広範なツール権限を確認なしに持っている場合、過剰な権限（Excessive Agency）が生じます。モデルの出力が検証されずにコード、クエリ、Webページに直接渡される場合、不適切な出力処理が生じます。サードパーティのモデル、プラグイン、コネクターからはサプライチェーンのリスクが生じます。OWASP Top 10 for LLM Applications（2025年版）は、これらのカテゴリーと、システムプロンプトの漏えいや無制限の消費などの関連カテゴリーをまとめており、OWASP GenAI Security Projectもエージェント型アプリケーションに特化したガイダンスを公開しています。現在のどの手法もプロンプトインジェクションを完全には防げないため、設計では、注入された指示の一部が成功することを前提とし、それによってできることを制限すべきです。

誰のために

本ガイドは次のような方に関係します。

ツール、API、社内データを使うエージェントを構築しているチーム
顧客やスタッフ向けにAIアシスタントを導入する企業
AI機能の承認を求められているセキュリティおよびリスクの責任者
サードパーティのAIプラットフォームやコネクターを統合するプロダクトオーナー

明確にするのに役立つこと

これらのリスクを確認することで、次の点が明確になります。

エージェントがどのデータを読み取れ、すべてのユーザーにその閲覧権限があるか
エージェントがどのアクションを実行でき、どのアクションに人による確認が必要か
信頼できないコンテンツがどのようにモデルに届き、何に影響を与え得るか
モデルの出力が次にどこへ流れ、検証されているか

含まれる内容

エージェントがアクセスできるすべてのツール、コネクター、データソースを一覧化する
最小権限を適用する：各ツールに最小限の権限を与え、現在のユーザーの範囲に限定する
送信、削除、支払い、公開、権限変更を伴うアクションには人による確認を必須とする
取得したコンテンツ、メール、ファイル、Webページを信頼できない入力として扱う
プラットフォームが許す限り明確に、システムの指示をユーザーや取得したコンテンツから分離する
モデルの出力がコード、クエリ、Webページに届く前に検証・エンコードする
アクセス制御はプロンプトではなくデータ層で強制する
レート、コスト、セッションあたりのアクション数に上限を設ける
適切なプライバシー保護のもとで、プロンプト、ツール呼び出し、結果をログに残し、レビューする
文書やリンクを通じた間接的なインジェクションを含め、敵対的な入力でテストする
悪用が検知された場合に、ツールやエージェントをすばやく無効化する方法を定める

含まれていないもの

プロンプトインジェクションを完全に防げるという主張
AIシステムの認証や規制上の承認
AI規制に関する法的助言
別途合意がない限り、本番環境のエージェントの継続的な監視

それを選ぶべきとき

エージェントを実際のツールやデータに接続する前に、そして新しいツール、データソース、ユーザー層を追加するたびに、これらのリスクに対処してください。読み取り専用の社内プロトタイプとしては安全だったエージェントも、顧客にメールを送れるようになると安全ではなくなる場合があります。ベンダーがエージェントのプラットフォームを提供している場合は、ツールの権限、確認の手順、ログ記録、データの分離をどのように扱っているかを確認してください。

私たちのアプローチ

完全な防止ではなく、封じ込めを前提に設計してください。注入された指示が成功した場合に現実的に起こり得る最悪の結果は何かを問い、その結果が許容できる水準になるまで権限を絞り、確認の手順を加えてください。認可の判断は、モデルの外にある決定論的なコードで行ってください。当社のLLM & AI Agent Security Reviewは、合意したAIシステムについて、プロンプトインジェクション、データの露出、安全でない出力、検索拡張に伴うリスク、ツールの権限、人への引き継ぎの境界を検証し、優先順位付きの推奨事項を含む書面の指摘事項を提供します。エージェントをまだ設計中の場合は、Secure AI Agent Integrationにより、承認されたデータ、範囲を限定したツール、レビューのポイントを最初から組み込んで構築でき、AI Governance, Policy & Data Safetyにより、その利用ルールを定めることができます。モデル、ツール、データソースが変わるたびに挙動も変わり得るため、その際はレビューを見直してください。

LLM & AI Agent Security Review

LLM & AI Agent Security Reviewのサービスページを見る