LLM & AI Agent Security Review

服務簡介

審查從 AI 工作流程與架構的資訊收集開始：使用何種模型或代理、它接收哪些資訊、連接了哪些檢索來源或工具、它能採取哪些動作，以及哪些地方仍由人員負責。在約定的邊界內，測試可以檢視提示注入行為、資料外洩途徑、不安全輸出的處理、檢索風險、工具權限、動作邊界、日誌記錄與交接。發現項目會連同脈絡與相稱的修復建議一併記錄。變更完成後，可以約定重新測試。這項工作始終在安全的測試邊界與授權範圍之內，所選方法均以避免干擾線上系統為前提。

適用對象

AI 資安審查適合以下團隊：

• 擁有已明確界定工具、資料、使用者與營運邊界的 AI 助理或代理工作流程
• 在更廣泛使用之前，需要更結構化地了解提示、檢索、權限、輸出或交接方面的風險
• 希望取得發現項目與修復優先順序，準確掌握範圍內的 AI 資安狀況
• 需要區分 AI 工作流程評估，與針對無關基礎架構的更廣泛滲透測試

有助釐清的問題

這項審查有助於釐清：

• 哪些約定的 AI 情境、資料路徑、檢索來源、工具與動作需要測試
• 在哪些地方，提示注入、不安全輸出、過度權限、工具濫用或資料外洩可能需要控制措施
• 在目前的工作流程中，可見哪些日誌記錄、核准、備援與人工交接邊界
• 哪些發現需要正式環境修正、重新測試、向廠商提問、治理決策，或另行界定範圍的資安工作

包含內容

• 書面確認授權的系統、情境、存取權限、安全測試邊界與排除項目
• AI 工作流程與架構資訊收集，涵蓋模型、檢索、資料、工具、權限、動作與交接
• 針對約定的提示注入、資料外洩、不安全輸出、檢索與權限情境進行受控測試
• 附實務脈絡、優先順序與修復建議的發現報告
• 在範圍內檢視日誌記錄、動作邊界、備援行為與人為核准點
• 交付討論，以及在另行約定的修復完成後可選擇的重新測試方案

不包含內容

• 針對無關的應用程式、基礎架構、網路或廠商的完整滲透測試
• 不受限制的對抗式測試、干擾線上系統，或超出核准邊界的存取
• 模型訓練、微調、模型更換、正式環境修正、24/7 監控、代管偵測或緊急應變
• 法律建議、正式認證、合規核准，或對 AI 安全的擔保
• 宣稱能找出或消除每一個漏洞、不安全輸出、注入途徑或資料外洩情境

適用時機

當工作流程已明確到足以指出其來源、權限、工具、使用者與決策邊界，但團隊需要對其風險態勢取得獨立觀點時，請選擇 LLM & AI Agent Security Review。在更廣泛推出之前、整合發生變更之後，或團隊對提示注入、檢索、工具動作或敏感資訊有所疑慮時，它都很有用。當使用案例、資料邊界或負責歸屬仍不明確時，它就較不適合；可能需要先進行工作流程探索或治理。當授權存取、安全的測試情境與修復決策的負責人都已到位時，這項審查最能發揮效果。

我們的方法

我們在測試開始前約定系統與安全情境。審查會考量攻擊者或非預期的輸入，可能如何在約定的工作流程中影響提示、檢索、工具使用、輸出、權限或使用者決策。我們避免具破壞性的測試，並將工作保持在已核准的系統之內。發現項目會區分觀察到的行為與假設，並說明相稱的下一步可能是什麼。有些問題可以透過設定、程式碼、權限變更、來源治理、人工審查或另行委託的資安工作來處理。通過測試的結果會針對所測試的情境與設定加以記錄。交付內容為團隊提供有文件記錄的依據，用於修復、負責歸屬與任何重新測試的決策。它也會註明測試證據的涵蓋範圍：哪些領域位於評估之外、哪些取決於所提供的存取權限，以及模型、來源、工具或推出設定的變更可能在何處引發新的問題。這有助於更審慎且持續的後續處理。

常見問題

相關文章