AI 代理正從回答問題轉向執行動作：讀取收件匣、查詢資料庫、更新工單、傳送訊息與呼叫 API。這項轉變改變了資安局面。只產生文字的模型可能會誤導人；而配備工具的代理則可能依據這些文字採取行動。提示注入（即隱藏在內容中的指令操控模型）是討論最多的風險，但它只是眾多風險之一。本指南以淺白的語言說明主要風險，以及可降低這些風險的控制措施。
服務簡介
大型語言模型無法可靠地區分來自營運方的指令與嵌入在其所處理資料中的指令。直接提示注入是指使用者輸入意圖覆寫系統規則的指令。間接提示注入是指模型讀取了含有隱藏指令的外部內容，例如網頁、電子郵件、文件或支援工單，這些指令可能要求其洩露資料或呼叫某個工具。其他風險會進一步加劇這個問題。當模型能存取使用者不應看到的資料時，敏感資訊就可能外洩。當代理擁有廣泛的工具權限（例如無需確認即可寄送郵件或刪除紀錄）時，就會出現過度代理（excessive agency）。當模型輸出未經驗證就直接傳入程式碼、查詢或網頁時，就會出現輸出處理不當。供應鏈風險則來自第三方模型、外掛與連接器。OWASP 大型語言模型應用程式 Top 10（2025 版）將上述風險及相關類別（例如系統提示洩露與無限制資源消耗）加以歸類，OWASP GenAI 安全計畫也發布了專門針對代理型應用程式的指引。由於目前沒有任何技術能完全防止提示注入，設計時應假設部分注入指令會成功，並限制其所能造成的影響。
適用對象
本指南適用於：
- 正在打造使用工具、API 或企業資料之代理的團隊
- 向客戶或員工部署 AI 助理的企業
- 被要求核准 AI 功能的資安與風險負責人
- 整合第三方 AI 平台或連接器的產品負責人
有助釐清的問題
檢視這些風險，有助於釐清：
- 代理可以讀取哪些資料，以及每位使用者是否都有權查看這些資料
- 代理可以執行哪些動作，以及哪些動作需要人工確認
- 不可信內容如何到達模型，以及可能產生何種影響
- 模型輸出接下來流向何處，以及是否經過驗證
包含內容
- 盤點代理可存取的每一個工具、連接器與資料來源
- 套用最小權限原則：為每個工具授予最小權限，並將其範圍限定於目前使用者
- 對傳送、刪除、付款、發布或變更權限等動作要求人工確認
- 將檢索到的內容、電子郵件、檔案與網頁視為不可信輸入
- 在平台允許的範圍內，盡可能清楚地將系統指令與使用者內容及檢索內容分開
- 在模型輸出進入程式碼、查詢或網頁之前加以驗證與編碼
- 在資料層而非提示中實施存取控制
- 對每個工作階段的呼叫頻率、成本與動作次數設定上限
- 在採取適當隱私保護措施的前提下，記錄提示、工具呼叫及其結果，並定期審查
- 使用對抗性輸入進行測試，包括透過文件與連結進行的間接注入
- 制定在發現濫用時迅速停用某個工具或整個代理的方法
不包含內容
- 宣稱提示注入可以被完全防止
- AI 系統的認證或監管核准
- 關於 AI 監管的法律建議
- 對正式環境代理的持續監控，除非另行約定
適用時機
請在代理接入真實工具或資料之前處理這些風險，並在每次新增工具、資料來源或使用者群體時再次處理。一個作為唯讀內部原型時安全的代理，一旦能向客戶寄送郵件，就未必安全了。如果代理平台由廠商提供，請詢問其如何處理工具權限、確認步驟、日誌記錄與資料隔離。
我們的方法
以控制影響而非完美預防為設計原則。設想一旦注入指令得逞，最壞的實際後果會是什麼，然後縮減權限、增加確認步驟，直到該後果可以接受為止。將授權決策保留在模型之外的確定性程式碼中。我們的 LLM & AI Agent Security Review 會針對約定的 AI 系統，檢查提示注入、資料暴露、不安全輸出、檢索風險、工具權限以及人工交接邊界，並提供附有優先順序建議的書面發現。如果您仍處於代理設計階段，Secure AI Agent Integration 服務可以從一開始就依據經核准的資料、限定範圍的工具與審查節點來打造代理，而 AI Governance, Policy & Data Safety 服務則可以為其制定使用規則。當模型、工具或資料來源發生變化時，請重新進行審查，因為每一次變化都可能改變其行為。
常見問題
相關文章
立即開始
正在將 AI 代理接入真實工具或資料？
請描述代理及其工具、資料來源與使用者。我們將提出範圍明確的安全審查方案。
申請書面範圍說明