Giải thích LLM & AI Agent Security Review

Đây là gì

Đợt rà soát bắt đầu bằng việc tiếp nhận thông tin về quy trình và kiến trúc AI: mô hình hoặc agent nào được sử dụng, nó nhận thông tin gì, truy xuất hoặc công cụ nào được kết nối, nó có thể thực hiện hành động gì, và ở đâu con người vẫn chịu trách nhiệm. Trong ranh giới đã thống nhất, kiểm thử có thể xem xét hành vi trước prompt injection, các con đường lộ dữ liệu, việc xử lý đầu ra không an toàn, rủi ro truy xuất, quyền công cụ, ranh giới hành động, ghi log và chuyển giao. Các phát hiện được ghi nhận kèm bối cảnh và hướng dẫn khắc phục tương xứng. Việc kiểm thử lại có thể được thống nhất sau khi thực hiện thay đổi. Công việc nằm trong các ranh giới kiểm thử an toàn và phạm vi được ủy quyền, với phương pháp được chọn để tránh gây gián đoạn hệ thống đang hoạt động.

Dành cho ai

Một đợt rà soát bảo mật AI phù hợp với các đội ngũ:

• Có một quy trình trợ lý hoặc agent AI với công cụ, dữ liệu, người dùng và ranh giới vận hành đã xác định
• Cần cái nhìn có cấu trúc hơn về rủi ro liên quan đến prompt, truy xuất, quyền hạn, đầu ra hoặc chuyển giao trước khi sử dụng rộng hơn
• Muốn có các phát hiện và ưu tiên khắc phục mang lại bức tranh chính xác về bảo mật AI trong phạm vi
• Cần phân biệt một đánh giá quy trình AI với một đợt kiểm thử xâm nhập rộng hơn đối với hạ tầng không liên quan

Giúp làm rõ điều gì

Đợt rà soát giúp làm rõ:

• Những kịch bản AI, đường dữ liệu, nguồn truy xuất, công cụ và hành động đã thống nhất nào cần được kiểm thử
• Ở đâu prompt injection, đầu ra không an toàn, quyền hạn quá mức, lạm dụng công cụ hoặc lộ dữ liệu có thể cần kiểm soát
• Những ranh giới về ghi log, phê duyệt, dự phòng và chuyển giao cho con người nào hiện được thể hiện trong quy trình
• Những phát hiện nào cần sửa trong production, kiểm thử lại, đặt câu hỏi cho nhà cung cấp, quyết định quản trị hoặc công việc bảo mật có phạm vi riêng

Những gì được bao gồm

• Xác nhận bằng văn bản về các hệ thống, kịch bản, quyền truy cập được ủy quyền, ranh giới kiểm thử an toàn và các loại trừ
• Tiếp nhận thông tin quy trình và kiến trúc AI, bao gồm mô hình, truy xuất, dữ liệu, công cụ, quyền hạn, hành động và chuyển giao
• Kiểm thử có kiểm soát các kịch bản đã thống nhất về prompt injection, lộ dữ liệu, đầu ra không an toàn, truy xuất và quyền hạn
• Báo cáo phát hiện kèm bối cảnh thực tế, mức ưu tiên và hướng dẫn khắc phục
• Rà soát ghi log, ranh giới hành động, hành vi dự phòng và các điểm phê duyệt của con người trong phạm vi
• Buổi trao đổi bàn giao và các phương án kiểm thử lại khả thi sau khi khắc phục theo thỏa thuận riêng

Những gì không được bao gồm

• Kiểm thử xâm nhập đầy đủ đối với các ứng dụng, hạ tầng, mạng hoặc nhà cung cấp không liên quan
• Kiểm thử đối kháng không hạn chế, gây gián đoạn hệ thống đang hoạt động hoặc truy cập ngoài ranh giới được phê duyệt
• Huấn luyện mô hình, fine-tuning, thay thế mô hình, sửa lỗi production, giám sát suốt ngày đêm, phát hiện mối đe dọa được quản lý hoặc ứng phó khẩn cấp
• Tư vấn pháp lý, chứng nhận chính thức, phê duyệt tuân thủ hoặc bảo đảm về bảo mật AI
• Khẳng định rằng mọi lỗ hổng, đầu ra không an toàn, con đường injection hoặc kịch bản lộ dữ liệu sẽ được tìm ra hoặc loại bỏ

Khi nào nên chọn

Hãy chọn LLM & AI Agent Security Review khi một quy trình đã đủ rõ để xác định nguồn, quyền hạn, công cụ, người dùng và ranh giới ra quyết định, nhưng đội ngũ cần một góc nhìn độc lập về tình trạng rủi ro của nó. Hình thức này hữu ích trước một đợt triển khai rộng hơn, sau khi một tích hợp thay đổi, hoặc khi đội ngũ có lo ngại về prompt injection, truy xuất, hành động của công cụ hoặc thông tin nhạy cảm. Nó ít phù hợp hơn khi trường hợp sử dụng, ranh giới dữ liệu hoặc trách nhiệm vẫn chưa rõ ràng; có thể cần discovery quy trình hoặc quản trị trước. Đợt rà soát hiệu quả nhất khi có sẵn quyền truy cập được ủy quyền, các kịch bản kiểm thử an toàn và người phụ trách các quyết định khắc phục.

Phương pháp của chúng tôi

Chúng tôi thống nhất các hệ thống và kịch bản an toàn trước khi bắt đầu kiểm thử. Đợt rà soát cân nhắc cách một kẻ tấn công hoặc đầu vào bất ngờ có thể tác động đến prompt, truy xuất, việc sử dụng công cụ, đầu ra, quyền hạn hoặc quyết định của người dùng trong quy trình đã thống nhất. Chúng tôi tránh kiểm thử gây gián đoạn và giữ công việc trong phạm vi các hệ thống đã được phê duyệt. Các phát hiện phân biệt hành vi đã quan sát với giả định và giải thích bước tiếp theo tương xứng có thể là gì. Một số vấn đề có thể được xử lý thông qua cấu hình, mã nguồn, thay đổi quyền hạn, quản trị nguồn, rà soát của con người hoặc một hợp đồng bảo mật riêng. Một kết quả đạt yêu cầu được ghi nhận cho bối cảnh và cấu hình đã kiểm thử. Tài liệu bàn giao mang đến cho đội ngũ một cơ sở được ghi nhận cho việc khắc phục, phân công trách nhiệm và mọi quyết định kiểm thử lại. Nó cũng ghi chú phạm vi của bằng chứng kiểm thử: những khu vực nằm ngoài đợt đánh giá, những gì phụ thuộc vào quyền truy cập được cung cấp, và ở đâu một thay đổi về mô hình, nguồn, công cụ hoặc cấu hình triển khai có thể làm phát sinh câu hỏi mới. Điều này hỗ trợ việc xử lý tiếp theo cẩn trọng và liên tục hơn.

Câu hỏi thường gặp

Bài viết liên quan