AIレッドチーミングとLLMセキュリティ評価
敵対的テストの下でAIアプリケーションがどのように振る舞うかを、プロンプトインジェクション、データ漏えい、悪用に関する根拠付きの検出結果と、優先順位付きの修正リストで確認できます。
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİイスタンブール,トルコ
- BilgeQor Ltdロンドン,イギリス
- PT BILGEQOR INTELLIGENT SYSTEMSジャカルタ,インドネシア
AIレッドチーミングは適切な選択肢ですか?
最も適している場合
- ✓社内データやツールにアクセスできるチャットボット、コパイロット、検索拡張型の検索、AIエージェントを、これから公開または拡大しようとしているチーム
- ✓AIリスクに関する顧客や取締役会からの質問に、根拠をもって答える必要があるプロダクト責任者・セキュリティ責任者
- ✓EU AI Actに基づく義務への対応を進めており、自社システムの現状を把握したい組織
- ✓モデルがツールを呼び出したり、Webを閲覧したり、外部から提供された文書に基づいて動作したりするエンジニアリングチーム
別のサービスが適している場合
- –WebアプリケーションとAPIをテストしたい場合:ペネトレーションテストおよびAPIセキュリティテストで対応できます
- –AIエージェント連携の設計レビューをご希望の場合:LLM・AIエージェントセキュリティレビューで対応できます
- –人間の攻撃者による、お客様の組織へのシミュレーションをご希望の場合:レッドチーム演習で対応できます
当社が評価する内容
- 隠された指示でAIが乗っ取られないかを把握:文書、Webページ、メール、ツールの出力に埋め込まれた指示を含む、直接・間接のプロンプトインジェクションテスト
- 機微なデータを内部に留める:システムプロンプト、取得された文書、学習データやファインチューニング用データ、他のユーザーのデータを対象とした漏えいテスト
- ポリシーの有効性を確認:ジェイルブレイク、有害コンテンツ制限の回避、許可された機能の不正利用など、お客様が定めたポリシーに対する悪用テスト
- エージェントにできることを制限:過剰な権限、安全でない操作、安全でないプラグイン、人による承認ステップの欠如に関するエージェントおよびツール利用のレビュー
- モデルの背後にあるデータを保護:アクセス制御やポイズニング経路を含む、検索、ベクトルストア、データパイプラインのレビュー
- モデルの周囲にある統制を確認:周辺アプリケーションの認証、レート制限、出力処理、ログ記録のレビュー
- EU AI Actに関する協議への備え:システム分類、文書化、監督体制のギャップを整理した対応準備マッピング。ご相談先のアドバイザー向けの準備状況ビューとして提供します
納入物
- 一般的なスケジュール
- 署名済みの対象範囲確定後、通常2~4週間です。対象となるAIシステムやツールの数によって異なり、書面のご提案書で確定します。
- 料金
- 無料の範囲設定相談の後に、固定料金のご提案をお出しします。
ご開始前の確認事項
- +テスト手法とテストアカウントについて、AIシステムの責任者である経営幹部による承認
- +テスト環境またはステージング環境、あるいは本番環境でテストする場合の制限事項
- +テストアカウント、APIアクセス、およびモデル、ツール、データソース、システムプロンプトに関する文書
- +有害コンテンツのテスト、データの取り扱い、停止条件を定めた、書面による利用規定
- +モデル提供元やプラットフォームの規約で必要とされる場合の、各社への通知
- +テスト期間中に連絡が取れる担当者の指名
対象外(別途ご提供)
- 法的助言、およびEU AI Actに関するコンプライアンスの正式な判断、適合性評価、認証。弊社は、アドバイザーが必要とする準備状況の証拠を提供します
- 別途お見積りする場合を除く、モデルの学習や再学習、新たなガードレールシステムの構築
- 第三者のモデル提供元自身のインフラストラクチャのテスト、および共有環境や本番環境の処理能力に影響しうるサービス拒否テスト
- ホストとなるアプリケーションに対する一般的なWebおよびAPIのテスト:ペネトレーションテストおよびAPIセキュリティテストとしてご利用いただけます
仕組み
範囲確認と承認
テストは、所有者による書面での許可と、合意した停止条件を含む署名済みの対象範囲がある場合にのみ開始します。これにより、稼働中のAIシステムとそのユーザーを保護します。テストの前に、AIシステム、テスト環境、悪用シナリオ、禁止事項を確認します。
脅威モデリング
データソース、ツール、ユーザー、信頼境界を整理し、お客様のシステムにとって特に重要な攻撃経路を見極めます。
敵対的テスト
対象範囲内のシステムに対して手動および自動の攻撃を実施し、各検出事項についてプロンプト、応答、証拠を記録します。
報告
検出事項、攻撃経路の解説、統制に関する推奨事項、対応準備マップを、チームがすぐに行動へ移せる形でお渡しします。
デブリーフィングと再テスト
関係者の皆様に結果をご説明し、ご希望に応じて、実施された修正に対する再テストを行います。
まず範囲をご依頼ください。24時間以内にご返信し、書面の提案書でAIシステム、連携先、許可、テスト実施期間を確認します。書面で範囲が確定してから作業を開始します。
範囲と見積
最終的な範囲とお見積りは、AIシステム、連携先、テスト実施期間によって異なります。
BilgeQorが選ばれる理由
- すべての検出事項に再現用プロンプトと証拠が付き、攻撃経路の解説によって、お客様のアプリケーションの中で複数の問題がどう組み合わさるかがわかります。
- EU AI Actの対応準備マップにより、アドバイザーは分類、文書化、監督体制のギャップを体系的に把握できます。
- AIシステム、テスト環境、停止条件は、まず書面による対象範囲で定めます。テスターはリモートで作業し、イスタンブール、ジャカルタ、ロンドンから連携します。
よくある質問
関連サービス
産業用制御システム、制御技術(OT)ネットワーク、接続デバイスに対する、安全を最優先にしたセキュリティ評価を、お客様のエンジニアと共に計画します。
REST、GraphQL、モバイルバックエンドのAPIを許可を得てテストし、認可の不備、インジェクション、ビジネスロジックの欠陥を洗い出して、明確な修正リストをお渡しします。
AIアプリケーションの耐性を試す
AIシステムとそのツールについてお知らせください。固定料金のご提案を書面でお返しします。
送信後の流れ
- ご依頼内容を確認します
- 範囲のご相談
- 書面による提案書
24時間以内にご返信します。
