Trợ lý tri thức RAG: Thiết lập ranh giới dữ liệu an toàn

Đây là gì

Một hệ thống RAG có ba giai đoạn chính. Thu nạp (ingestion) thu thập tài liệu từ các nguồn được phê duyệt, chia thành các đoạn (chunk) và lưu vào một chỉ mục tìm kiếm, thường là cơ sở dữ liệu vector. Truy xuất (retrieval) tìm các đoạn liên quan nhất đến câu hỏi của người dùng. Tạo sinh (generation) chuyển các đoạn đó cho một mô hình ngôn ngữ để viết câu trả lời, lý tưởng là có trích dẫn nguồn. Ranh giới dữ liệu áp dụng ở mọi giai đoạn. Ở giai đoạn thu nạp, bạn quyết định nguồn và loại tài liệu nào được phép, và nguồn nào bị loại trừ. Ở giai đoạn truy xuất, hệ thống phải tôn trọng đúng các quyền mà người dùng có trong hệ thống gốc; nếu người dùng không thể mở một tài liệu trên thư mục chia sẻ, trợ lý không nên truy xuất tài liệu đó cho họ. Ở giai đoạn tạo sinh, bạn quyết định mô hình được làm gì với nội dung được truy xuất và nên từ chối điều gì. Bao quanh tất cả những điều này là các quy tắc lưu giữ đối với chỉ mục, prompt và log, cùng chính sách của mọi nhà cung cấp mô hình bên ngoài về cách xử lý dữ liệu được gửi đến.

Dành cho ai

Hướng dẫn này dành cho:

• Tổ chức đang lên kế hoạch xây dựng trợ lý nội bộ cho tri thức nhân viên, nhân sự, CNTT hoặc vận hành
• Đội ngũ xây dựng trợ lý dành cho khách hàng dựa trên nội dung sản phẩm hoặc hỗ trợ
• Người phụ trách bảo vệ dữ liệu và bảo mật đang rà soát một dự án RAG được đề xuất
• Nhà quản lý đang quyết định nội dung nào nên và không nên được AI tìm kiếm

Giúp làm rõ điều gì

Thiết lập ranh giới giúp làm rõ:

• Nguồn tri thức nào được phê duyệt, có người phụ trách và đủ cập nhật để tin cậy
• Việc truy xuất có tôn trọng quyền của từng người dùng hay không
• Dữ liệu cá nhân, bảo mật hoặc thuộc diện quản lý có thể lọt vào chỉ mục ở đâu
• Dữ liệu đã lập chỉ mục, prompt và câu trả lời được lưu giữ trong bao lâu và ở đâu

Những gì được bao gồm

• Liệt kê các nguồn dự kiến và chỉ định cho mỗi nguồn một người phụ trách phê duyệt việc đưa vào
• Mặc định loại trừ: hồ sơ vụ việc nhân sự, vấn đề pháp lý, bảng lương, dữ liệu sức khỏe, thông tin xác thực và tài liệu hội đồng quản trị, trừ khi có nhu cầu cụ thể đã được phê duyệt
• Xóa hoặc lưu trữ các tài liệu lỗi thời để trợ lý không trích dẫn các chính sách đã bị thay thế
• Đưa quyền truy cập tài liệu vào chỉ mục và lọc kết quả truy xuất theo quyền truy cập của người dùng hiện tại
• Kiểm thử với người dùng ở các vai trò khác nhau để xác nhận họ chỉ thấy những gì họ được phép thấy
• Phát hiện và xử lý dữ liệu cá nhân và bí mật trong quá trình thu nạp
• Yêu cầu câu trả lời trích dẫn nguồn và cho phép người dùng mở tài liệu gốc
• Hướng dẫn trợ lý nói rõ khi không biết, thay vì phỏng đoán
• Xác định thời hạn lưu giữ cho chỉ mục, prompt và log, và cách việc xóa trong hệ thống nguồn được phản ánh sang
• Rà soát điều khoản xử lý và lưu giữ dữ liệu của nhà cung cấp mô hình
• Thu thập phản hồi về các câu trả lời sai hoặc không hữu ích và giao cho một người phụ trách xử lý

Những gì không được bao gồm

• Khẳng định rằng câu trả lời của trợ lý sẽ luôn chính xác
• Tư vấn pháp lý về nghĩa vụ bảo vệ dữ liệu
• Lập chỉ mục các nguồn chưa được người phụ trách phê duyệt
• Chứng nhận hoặc phê duyệt theo quy định

Khi nào nên chọn

Hãy thiết lập ranh giới ngay từ đầu, trong giai đoạn lựa chọn nguồn, chứ không phải sau buổi demo đầu tiên. Bổ sung cơ chế lọc theo quyền về sau khó hơn so với thiết kế sẵn từ đầu, và chỉ một câu trả lời sai làm lộ thông tin bảo mật cũng có thể làm tổn hại niềm tin vào toàn bộ dự án. Hãy xem xét lại các ranh giới khi bổ sung nguồn, nhóm người dùng hoặc nhà cung cấp mô hình mới.

Phương pháp của chúng tôi

Hãy bắt đầu nhỏ và được quản trị tốt. Chọn một tập giới hạn các nguồn được phê duyệt, cập nhật, có người phụ trách và đối tượng sử dụng rõ ràng, chẳng hạn thư viện hỗ trợ CNTT hoặc cơ sở tri thức sản phẩm. Xây dựng cơ chế truy xuất theo quyền ngay từ đầu, kể cả khi nhóm người dùng đầu tiên là rộng. Kiểm thử bằng các câu hỏi thực tế từ các vai trò khác nhau và bao gồm cả những câu hỏi mà trợ lý nên từ chối. Dịch vụ Internal Knowledge Assistant của chúng tôi chuẩn bị một trợ lý xoay quanh các nguồn tri thức được phê duyệt, ranh giới truy cập, độ tin cậy của truy xuất và việc sử dụng có kiểm soát của nhân viên. Dịch vụ AI Governance, Policy & Data Safety có thể xác định các quy tắc sử dụng và ranh giới dữ liệu xung quanh trợ lý, và LLM & AI Agent Security Review có thể xem xét rủi ro truy xuất và lộ dữ liệu trong một trợ lý hiện có. Hãy đo lường thành công bằng các câu trả lời đáng tin cậy, có trích dẫn cho những câu hỏi thường gặp, chứ không phải bằng số lượng tài liệu được lập chỉ mục.

Internal Knowledge Assistant

Câu hỏi thường gặp

Bài viết liên quan