AI Red Teaming và đánh giá bảo mật LLM
Xem ứng dụng AI của bạn hành xử ra sao khi bị kiểm thử đối kháng, với các phát hiện có bằng chứng về prompt injection, rò rỉ dữ liệu và lạm dụng, cùng một danh sách khắc phục được ưu tiên.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Thổ Nhĩ Kỳ
- BilgeQor LtdLuân Đôn, Vương quốc Anh
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
AI Red Teaming có phù hợp không?
Phù hợp nhất cho
- ✓Các đội sắp ra mắt hoặc mở rộng chatbot, copilot, tìm kiếm tăng cường truy xuất (retrieval-augmented) hoặc agent AI có quyền truy cập dữ liệu hoặc công cụ của công ty
- ✓Các lãnh đạo sản phẩm và bảo mật phải trả lời câu hỏi của khách hàng hoặc hội đồng quản trị về rủi ro AI bằng bằng chứng
- ✓Các tổ chức đang chuẩn bị cho các nghĩa vụ của EU AI Act và muốn biết hệ thống của mình đang ở đâu
- ✓Các đội kỹ thuật có mô hình gọi công cụ, duyệt web hoặc hành động trên các tài liệu do bên ngoài cung cấp
Dịch vụ khác phù hợp hơn nếu
- –Bạn muốn kiểm thử ứng dụng web và các API của mình: Kiểm thử xâm nhập và Kiểm thử bảo mật API đáp ứng nhu cầu này
- –Bạn muốn rà soát thiết kế tích hợp tác tử AI (AI agent): LLM & AI Agent Security Review đáp ứng nhu cầu này
- –Bạn muốn mô phỏng một đối thủ là con người tấn công tổ chức của mình: Red Team Exercise đáp ứng nhu cầu này
Những gì Chúng tôi Đánh giá
- Biết liệu các chỉ dẫn ẩn có thể chiếm quyền điều khiển AI của bạn hay không: kiểm thử prompt injection trực tiếp và gián tiếp, gồm cả các chỉ dẫn ẩn trong tài liệu, trang web, email và đầu ra của công cụ
- Giữ dữ liệu nhạy cảm ở bên trong: kiểm thử rò rỉ bao gồm system prompt, các tài liệu được truy xuất, dữ liệu huấn luyện hoặc tinh chỉnh và dữ liệu của những người dùng khác
- Xem chính sách của bạn trụ vững ra sao: kiểm thử lạm dụng so với chính sách bạn đặt ra, bao gồm jailbreak, vượt qua bộ lọc nội dung có hại và lạm dụng các chức năng được phép
- Giới hạn những gì một agent có thể làm: rà soát agent và việc dùng công cụ về quyền hạn quá mức, hành động không an toàn, plugin không an toàn và thiếu các bước phê duyệt của con người
- Bảo vệ dữ liệu đằng sau mô hình: rà soát truy xuất, vector store và pipeline dữ liệu, gồm kiểm soát truy cập và các đường đầu độc dữ liệu
- Kiểm tra các biện pháp kiểm soát xung quanh mô hình: rà soát xác thực, giới hạn tốc độ, xử lý đầu ra và ghi nhật ký trong ứng dụng bao quanh
- Chuẩn bị cho các cuộc trao đổi về EU AI Act: lập bản đồ mức độ sẵn sàng về phân loại hệ thống, tài liệu và các khoảng trống giám sát, trình bày dưới dạng một góc nhìn về mức độ sẵn sàng cho các cố vấn của bạn
Sản phẩm Bàn giao
- Thời gian thông thường
- Thường mất 2–4 tuần kể từ khi phạm vi được ký, tùy số lượng hệ thống AI và công cụ trong phạm vi, được xác nhận trong đề xuất bằng văn bản của bạn.
- Giá
- Đề xuất trọn gói sau buổi trao đổi xác định phạm vi miễn phí.
Trước khi bắt đầu
- +Sự đồng ý của một lãnh đạo sở hữu hệ thống AI, bao gồm các phương pháp kiểm thử và tài khoản kiểm thử
- +Một môi trường kiểm thử hoặc staging, hoặc các giới hạn cho việc kiểm thử trên môi trường vận hành
- +Tài khoản kiểm thử, quyền truy cập API và tài liệu về mô hình, công cụ, nguồn dữ liệu và system prompt
- +Quy tắc sử dụng chấp nhận được bằng văn bản bao gồm kiểm thử nội dung có hại, xử lý dữ liệu và điều kiện dừng
- +Thông báo cho nhà cung cấp mô hình hoặc nền tảng, khi điều khoản của họ yêu cầu
- +Các đầu mối được chỉ định có thể liên lạc trong khung thời gian kiểm thử
Không bao gồm (có thể thực hiện riêng)
- Tư vấn pháp lý hoặc xác định chính thức về mức độ tuân thủ EU AI Act, đánh giá sự phù hợp hoặc chứng nhận; chúng tôi cung cấp cho bạn bằng chứng về mức độ sẵn sàng mà các cố vấn của bạn cần
- Huấn luyện hoặc huấn luyện lại mô hình, hoặc xây dựng các hệ thống guardrail mới, trừ khi được báo giá riêng
- Kiểm thử hạ tầng riêng của các nhà cung cấp mô hình bên thứ ba, và kiểm thử từ chối dịch vụ có thể ảnh hưởng đến năng lực dùng chung hoặc vận hành
- Kiểm thử web và API tổng quát của ứng dụng chủ: có sẵn dưới dạng Kiểm thử xâm nhập và Kiểm thử bảo mật API
Cách thức Hoạt động
Xác định phạm vi và phê duyệt
Việc kiểm thử chỉ bắt đầu khi có sự cho phép bằng văn bản của chủ sở hữu và một phạm vi đã ký kèm các điều kiện dừng đã thỏa thuận, để hệ thống AI đang vận hành của bạn và người dùng của nó luôn được bảo vệ. Chúng tôi xác nhận hệ thống AI, môi trường kiểm thử, các kịch bản lạm dụng và các hành động bị cấm trước khi bắt đầu bất kỳ kiểm thử nào.
Mô hình hóa mối đe dọa
Chúng tôi lập bản đồ các nguồn dữ liệu, công cụ, người dùng và ranh giới tin cậy để quyết định những đường tấn công nào quan trọng nhất đối với hệ thống của bạn.
Kiểm thử đối kháng
Chúng tôi thực hiện các cuộc tấn công thủ công và tự động nhằm vào hệ thống trong phạm vi, ghi lại prompt, phản hồi và bằng chứng cho từng phát hiện.
Báo cáo
Chúng tôi bàn giao các phát hiện, bản tường thuật đường tấn công, khuyến nghị về biện pháp kiểm soát và bản đồ mức độ sẵn sàng dưới dạng mà các đội ngũ của bạn có thể hành động.
Tổng kết và kiểm tra lại
Chúng tôi trình bày kết quả cho các bên liên quan của bạn và, khi bạn lựa chọn, kiểm tra lại các bản sửa mà bạn đã thực hiện.
Hãy yêu cầu xác định phạm vi trước. Chúng tôi phản hồi trong vòng 24 giờ và xác nhận hệ thống AI, các tích hợp, sự cho phép và khung thời gian kiểm thử trong một đề xuất bằng văn bản. Công việc bắt đầu sau khi phạm vi bằng văn bản được xác nhận.
Phạm vi & Báo giá
Phạm vi và báo giá cuối cùng phụ thuộc vào hệ thống AI, các tích hợp và khung thời gian kiểm thử của bạn.
Vì sao chọn BilgeQor
- Mỗi phát hiện đều kèm prompt tái hiện và bằng chứng, và một bản tường thuật đường tấn công cho thấy các vấn đề kết hợp với nhau trong ứng dụng của bạn ra sao.
- Bản đồ mức độ sẵn sàng theo EU AI Act cung cấp cho các cố vấn của bạn một góc nhìn có cấu trúc về các khoảng trống về phân loại, tài liệu và giám sát.
- Hệ thống AI, môi trường kiểm thử và điều kiện dừng được ấn định trước trong phạm vi bằng văn bản; các chuyên viên kiểm thử làm việc từ xa, phối hợp từ Istanbul, Jakarta và London.
Câu hỏi Thường gặp
Dịch vụ liên quan
Đánh giá bảo mật OT, ICS và IoT
Đánh giá bảo mật ưu tiên an toàn đối với hệ thống điều khiển công nghiệp, mạng công nghệ vận hành và thiết bị kết nối, được lên kế hoạch cùng các kỹ sư của bạn.
Kiểm thử API của bạn để tìm lỗi truy cập
Kiểm thử được ủy quyền các API REST, GraphQL và backend di động của bạn để tìm lỗi phân quyền, injection và lỗ hổng logic nghiệp vụ, kèm danh sách khắc phục rõ ràng.
Thử nghiệm giới hạn ứng dụng AI của bạn
Mô tả hệ thống AI và các công cụ của nó; một đề xuất trọn gói bằng văn bản sẽ được gửi lại.
Điều gì diễn ra sau khi Quý khách gửi
- Chúng tôi xem xét yêu cầu của Quý khách
- Trao đổi về phạm vi
- Đề xuất bằng văn bản
Chúng tôi phản hồi trong vòng 24 giờ.
