LLM & AI Agent Security Review

服务简介

评审从 AI 工作流程和架构信息收集开始：使用的是什么模型或智能体、它接收哪些信息、连接了哪些检索或工具、它可以执行哪些操作，以及哪些环节仍由人负责。在约定边界内，测试可以检查提示词注入行为、数据泄露路径、不安全输出的处理、检索风险、工具权限、操作边界、日志和交接。发现结果会连同背景和相称的整改指导一并记录。变更完成后，可以约定进行复测。这项工作始终处于安全测试边界和授权范围之内，所选方法均以避免干扰线上系统为前提。

适用对象

AI 安全评审适合以下团队：

• 拥有 AI 助手或智能体工作流程，其工具、数据、用户和运营边界都已明确
• 在更广泛使用之前，需要以更结构化的方式了解提示词、检索、权限、输出或交接方面的风险
• 希望获得发现结果和整改优先级，准确了解范围内的 AI 安全状况
• 需要将 AI 工作流程评估与针对无关基础设施的更广泛渗透测试区分开来

帮助厘清的问题

评审有助于厘清：

• 哪些约定的 AI 场景、数据路径、检索来源、工具和操作需要测试
• 在哪些地方，提示词注入、不安全输出、权限过大、工具滥用或数据泄露可能需要控制措施
• 当前工作流程中可以看到哪些日志、审批、回退和人工交接边界
• 哪些发现需要生产环境修复、复测、向供应商提问、治理决策或单独界定范围的安全工作

包含内容

• 以书面形式确认获授权的系统、场景、访问权限、安全测试边界和排除事项
• AI 工作流程和架构信息收集，涵盖模型、检索、数据、工具、权限、操作和交接
• 对约定的提示词注入、数据泄露、不安全输出、检索和权限场景进行受控测试
• 附有切实背景、优先级和整改指导的发现报告
• 评审范围内的日志、操作边界、回退行为和人工审批节点
• 交接讨论，以及在另行约定的整改完成后可选的复测方案

不包含内容

• 针对无关应用、基础设施、网络或供应商的全面渗透测试
• 不受限制的对抗性测试、干扰线上系统，或在获准边界之外进行访问
• 模型训练、微调、模型替换、生产环境修复、不间断监控、托管检测或应急响应
• 法律建议、正式认证、合规批准，或对 AI 安全的承诺
• 声称将找出或消除每一个漏洞、不安全输出、注入路径或数据泄露场景

适用时机

当工作流程已足够明确，能够识别其来源、权限、工具、用户和决策边界，但团队需要对其风险态势获得独立的看法时，请选择 LLM & AI Agent Security Review。在更大范围推出之前、在集成发生变化之后，或当团队对提示词注入、检索、工具操作或敏感信息存在顾虑时，它很有帮助。如果用例、数据边界或责任归属仍不清晰，它就不太适合；可能需要先进行工作流程探索或治理工作。当具备获授权的访问权限、安全的测试场景以及整改决策的负责人时，评审的效果最为理想。

我们的方法

我们在测试开始前约定系统和安全场景。评审会考虑攻击者或意外输入如何在约定的工作流程中影响提示词、检索、工具使用、输出、权限或用户决策。我们避免具有破坏性的测试，并将工作保持在获批准的系统之内。发现结果会区分观察到的行为与假设，并说明相称的下一步可能是什么。有些问题可以通过配置、代码、权限变更、来源治理、人工审核或单独的安全合作来处理。测试通过的结果会针对所测试的情境和配置加以记录。交接为团队的整改、责任归属和任何复测决策提供有据可查的依据。它还会注明测试证据的覆盖面：哪些领域处于评估之外、哪些依赖于所提供的访问权限，以及模型、来源、工具或推出配置的变化可能在哪些地方引出新的问题。这有助于更审慎、持续地推进后续工作。

常见问题

相关文章