AI 智能体正在从回答问题转向执行操作：读取收件箱、查询数据库、更新工单、发送消息和调用 API。这一转变改变了安全格局。只生成文本的模型可能会误导人；而配备工具的智能体则可能根据这些文本采取行动。提示注入（即隐藏在内容中的指令操纵模型）是讨论最多的风险，但它只是众多风险之一。本指南以通俗的语言说明主要风险，以及可降低这些风险的控制措施。
服务简介
大语言模型无法可靠地区分来自运营方的指令与嵌入在其所处理数据中的指令。直接提示注入是指用户输入旨在覆盖系统规则的指令。间接提示注入是指模型读取了包含隐藏指令的外部内容，例如网页、电子邮件、文档或支持工单，这些指令可能要求其泄露数据或调用某个工具。其他风险会进一步加剧这一问题。当模型能够访问用户不应看到的数据时，敏感信息就可能泄露。当智能体拥有广泛的工具权限（例如无需确认即可发送邮件或删除记录）时，就会出现过度代理（excessive agency）。当模型输出未经验证就直接传入代码、查询或网页时，就会出现输出处理不当。供应链风险则来自第三方模型、插件和连接器。OWASP 大语言模型应用 Top 10（2025 版）对上述风险及相关类别（例如系统提示泄露和无限制资源消耗）进行了归类，OWASP GenAI 安全项目也发布了专门针对智能体应用的指南。由于目前没有任何技术能够完全防止提示注入，设计时应假定部分注入指令会成功，并限制其所能造成的影响。
适用对象
本指南适用于：
- 正在构建使用工具、API 或企业数据之智能体的团队
- 向客户或员工部署 AI 助手的企业
- 被要求审批 AI 功能的安全与风险负责人
- 集成第三方 AI 平台或连接器的产品负责人
帮助厘清的问题
审视这些风险，有助于厘清：
- 智能体可以读取哪些数据，以及每位用户是否都有权查看这些数据
- 智能体可以执行哪些操作，以及哪些操作需要人工确认
- 不可信内容如何到达模型，以及可能产生何种影响
- 模型输出接下来流向何处，以及是否经过验证
包含内容
- 清点智能体可访问的每一个工具、连接器和数据源
- 应用最小权限原则：为每个工具授予最小权限，并将其范围限定于当前用户
- 对发送、删除、支付、发布或更改权限等操作要求人工确认
- 将检索到的内容、电子邮件、文件和网页视为不可信输入
- 在平台允许的范围内，尽可能清晰地将系统指令与用户内容和检索内容分开
- 在模型输出进入代码、查询或网页之前对其进行验证和编码
- 在数据层而非提示中实施访问控制
- 对每个会话的调用频率、成本和操作次数设定上限
- 在采取适当隐私保护措施的前提下，记录提示、工具调用及其结果，并定期审查
- 使用对抗性输入进行测试，包括通过文档和链接进行的间接注入
- 制定在发现滥用时快速禁用某个工具或整个智能体的方法
不包含内容
- 声称提示注入可以被完全防止
- AI 系统的认证或监管批准
- 关于 AI 监管的法律建议
- 对生产环境智能体的持续监控，除非另行约定
适用时机
请在智能体接入真实工具或数据之前处理这些风险，并在每次新增工具、数据源或用户群体时再次处理。一个作为只读内部原型时安全的智能体，一旦能够向客户发送邮件，就未必安全了。如果智能体平台由供应商提供，请询问其如何处理工具权限、确认步骤、日志记录和数据隔离。
我们的方法
以控制影响而非完美预防为设计原则。设想一旦注入指令得逞，最坏的现实后果会是什么，然后削减权限、增加确认步骤，直到该后果可以接受为止。将授权决策保留在模型之外的确定性代码中。我们的 LLM & AI Agent Security Review 会针对约定的 AI 系统，检查提示注入、数据暴露、不安全输出、检索风险、工具权限以及人工交接边界，并提供附有优先级建议的书面发现。如果您仍处于智能体设计阶段，Secure AI Agent Integration 服务可以从一开始就基于经批准的数据、限定范围的工具和审查节点来构建智能体，而 AI Governance, Policy & Data Safety 服务则可以为其制定使用规则。当模型、工具或数据源发生变化时，请重新进行评审，因为每一次变化都可能改变其行为。
常见问题
相关文章
立即开始
正在将 AI 智能体接入真实工具或数据？
请描述智能体及其工具、数据源和用户。我们将提出明确范围的安全评审方案。
申请书面范围说明