RAG 지식 어시스턴트: 안전한 데이터 경계 설정

검색 증강 생성(RAG)을 사용하면 AI 어시스턴트가 귀사의 문서로 질문에 답할 수 있습니다. 정책, 절차, 제품 정보, 계약서, 지원 이력 등입니다. 이는 비즈니스에서 AI를 활용하는 가장 실용적인 방법 중 하나입니다. 동시에 정보를 엉뚱한 사람에게 노출하는 가장 쉬운 방법 중 하나이기도 합니다. 모든 것을 검색할 수 있는 어시스턴트는 무엇이든 기꺼이 요약하기 때문입니다. 색인 작업을 시작하기 전에 정하는 데이터 경계가 RAG 어시스턴트를 유용하고 안전하게 만듭니다. 이 가이드는 이를 설정하는 방법을 설명합니다.

무엇인가

RAG 시스템에는 세 가지 주요 단계가 있습니다. 수집 단계에서는 승인된 소스에서 문서를 모아 청크로 나누고 검색 색인(흔히 벡터 데이터베이스)에 저장합니다. 검색 단계에서는 사용자의 질문과 가장 관련 있는 청크를 찾습니다. 생성 단계에서는 그 청크를 언어 모델에 전달하고, 모델이 답변을 작성하며 이상적으로는 출처를 인용합니다. 데이터 경계는 모든 단계에 적용됩니다. 수집 단계에서는 어떤 소스와 문서 유형을 허용하고 어떤 것을 제외할지 결정합니다. 검색 단계에서 시스템은 사용자가 원래 시스템에서 가진 것과 동일한 권한을 존중해야 합니다. 사용자가 파일 공유에서 열 수 없는 문서라면 어시스턴트도 그 사용자를 위해 검색해서는 안 됩니다. 생성 단계에서는 모델이 검색된 콘텐츠로 무엇을 할 수 있고 무엇을 거절해야 하는지 결정합니다. 이 모든 것을 둘러싸고 색인, 프롬프트, 로그의 보존 규칙과, 외부 모델 제공업체가 제출된 데이터를 어떻게 처리하는지에 관한 정책이 있습니다.

누구를 위한 것인가?

이 가이드는 다음을 위한 것입니다.

직원 지식, 인사, IT 또는 운영을 위한 사내 어시스턴트를 계획하는 조직
제품이나 지원 콘텐츠를 기반으로 고객용 어시스턴트를 구축하는 팀
제안된 RAG 프로젝트를 검토하는 데이터 보호 및 보안 책임자
어떤 콘텐츠를 AI로 검색 가능하게 하고 어떤 콘텐츠는 그렇게 하지 않을지 결정하는 관리자

무엇을 명확히 하는 데 도움이 되는지

경계를 설정하면 다음이 명확해집니다.

어떤 지식 소스가 승인되었고, 담당자가 있으며, 신뢰할 만큼 최신인지
검색이 각 사용자의 권한을 준수하는지
개인정보, 기밀 데이터, 규제 대상 데이터가 어디서 색인에 들어갈 수 있는지
색인된 데이터, 프롬프트, 답변이 얼마나 오래, 어디에 보관되는지

포함된 내용

후보 소스를 나열하고 각각에 포함을 승인할 담당자 지정
기본적으로 제외: 인사 사건 파일, 법률 사안, 급여, 건강 데이터, 자격 증명, 이사회 자료(구체적이고 승인된 필요가 있는 경우 제외)
어시스턴트가 폐기된 정책을 인용하지 않도록 오래된 문서를 삭제하거나 보관 처리
문서 권한을 색인에 반영하고, 현재 사용자의 접근 권한으로 검색 결과를 필터링
역할이 다른 사용자로 테스트해 볼 수 있어야 할 것만 보이는지 확인
수집 중 개인정보와 시크릿을 탐지하고 처리
답변에 출처 인용을 요구하고 사용자가 원본 문서를 열 수 있게 하기
모를 때는 추측하지 말고 모른다고 말하도록 어시스턴트에 지시
색인, 프롬프트, 로그의 보존 기간과 원본 시스템의 삭제가 어떻게 반영되는지 정의
모델 제공업체의 데이터 처리 및 보존 조건 검토
틀리거나 도움이 되지 않는 답변에 대한 피드백을 수집하고 이를 처리할 담당자 지정

포함되지 않은 것

어시스턴트의 답변이 항상 정확하다는 주장
데이터 보호 의무에 관한 법률 자문
담당자가 승인하지 않은 소스의 색인
인증 또는 규제 승인

선택해야 할 때

경계는 첫 데모 이후가 아니라 소스를 선정하는 맨 처음에 설정하십시오. 권한 필터링을 나중에 추가하는 것은 처음부터 설계에 넣는 것보다 어렵고, 기밀 정보를 드러내는 잘못된 답변 하나가 프로젝트 전체에 대한 신뢰를 해칠 수 있습니다. 새 소스, 사용자 그룹, 모델 제공업체가 추가될 때 경계를 다시 검토하십시오.

우리의 접근 방식

작고 잘 관리된 형태로 시작하십시오. IT 도움말 라이브러리나 제품 지식 베이스처럼 담당자와 대상이 명확하고, 승인되었으며, 최신인 제한된 소스를 선택하십시오. 첫 대상이 넓더라도 권한 인식 검색을 처음부터 구축하십시오. 여러 역할의 현실적인 질문으로 테스트하고, 어시스턴트가 거절해야 할 질문도 포함하십시오. 당사의 Internal Knowledge Assistant 서비스는 승인된 지식 소스, 접근 경계, 검색 신뢰성, 통제된 직원 사용을 중심으로 어시스턴트를 준비합니다. AI Governance, Policy & Data Safety 서비스로 그 사용 규칙과 데이터 경계를 정의할 수 있으며, LLM & AI Agent Security Review로 기존 어시스턴트의 검색 리스크와 데이터 노출을 검토할 수 있습니다. 성공은 색인된 문서의 수가 아니라 자주 묻는 질문에 대해 신뢰할 수 있고 출처가 인용된 답변으로 측정하십시오.

Internal Knowledge Assistant

Internal Knowledge Assistant 서비스 페이지 보기