AI 에이전트는 질문에 답하는 단계에서 행동을 취하는 단계로 옮겨 가고 있습니다. 받은편지함을 읽고, 데이터베이스를 조회하고, 티켓을 업데이트하고, 메시지를 보내고, API를 호출합니다. 이러한 변화는 보안 상황을 바꿉니다. 텍스트만 생성하는 모델은 잘못된 정보를 줄 수 있지만, 도구를 가진 에이전트는 그 텍스트에 따라 행동할 수 있습니다. 콘텐츠에 숨겨진 지시가 모델을 조종하는 프롬프트 인젝션은 가장 널리 논의되는 리스크이지만 여러 리스크 중 하나일 뿐입니다. 이 가이드는 주요 리스크와 이를 줄이는 통제를 쉬운 말로 설명합니다.
무엇인가
대규모 언어 모델은 운영자의 지시와 처리하는 데이터에 포함된 지시를 확실하게 구분하지 못합니다. 직접 프롬프트 인젝션은 사용자가 시스템 규칙을 무력화하도록 설계된 지시를 입력할 때 발생합니다. 간접 프롬프트 인젝션은 모델이 웹 페이지, 이메일, 문서, 지원 티켓 등 숨겨진 지시(예: 데이터를 공개하거나 도구를 호출하라는 지시)가 담긴 외부 콘텐츠를 읽을 때 발생합니다. 다른 리스크가 이를 가중시킵니다. 모델이 사용자가 보아서는 안 되는 데이터에 접근할 수 있으면 민감한 정보가 유출될 수 있습니다. 에이전트가 이메일 발송이나 레코드 삭제 같은 광범위한 도구 권한을 확인 없이 보유하면 과도한 권한(Excessive Agency)이 발생합니다. 모델 출력이 검증 없이 코드, 쿼리, 웹 페이지에 직접 전달되면 부적절한 출력 처리가 발생합니다. 서드파티 모델, 플러그인, 커넥터에서는 공급망 리스크가 발생합니다. OWASP Top 10 for LLM Applications(2025년판)는 이러한 범주와 시스템 프롬프트 유출, 무제한 소비 같은 관련 범주를 정리하고 있으며, OWASP GenAI Security Project도 에이전트형 애플리케이션에 특화된 지침을 발표합니다. 현재 어떤 기법도 프롬프트 인젝션을 완전히 막지 못하므로, 설계 시 일부 주입된 지시는 성공한다고 가정하고 그것이 할 수 있는 일을 제한해야 합니다.
누구를 위한 것인가?
이 가이드는 다음과 같은 분들과 관련이 있습니다.
- 도구, API 또는 회사 데이터를 사용하는 에이전트를 구축하는 팀
- 고객이나 직원에게 AI 어시스턴트를 배포하는 기업
- AI 기능 승인을 요청받은 보안 및 리스크 책임자
- 서드파티 AI 플랫폼이나 커넥터를 통합하는 제품 책임자
무엇을 명확히 하는 데 도움이 되는지
이러한 리스크를 검토하면 다음이 명확해집니다.
- 에이전트가 어떤 데이터를 읽을 수 있으며 모든 사용자에게 그 권한이 있는지
- 에이전트가 어떤 작업을 할 수 있으며 어떤 작업에 사람의 확인이 필요한지
- 신뢰할 수 없는 콘텐츠가 어떻게 모델에 도달하며 무엇에 영향을 줄 수 있는지
- 모델 출력이 다음에 어디로 흐르며 검증되는지
포함된 내용
- 에이전트가 접근할 수 있는 모든 도구, 커넥터, 데이터 소스를 목록화
- 최소 권한 적용: 각 도구에 가장 좁은 권한을 주고 현재 사용자 범위로 한정
- 발송, 삭제, 결제, 게시, 권한 변경 작업에는 사람의 확인을 필수로 요구
- 검색된 콘텐츠, 이메일, 파일, 웹 페이지를 신뢰할 수 없는 입력으로 취급
- 플랫폼이 허용하는 한 시스템 지시를 사용자 및 검색된 콘텐츠와 명확히 분리
- 모델 출력이 코드, 쿼리, 웹 페이지에 도달하기 전에 검증하고 인코딩
- 접근 제어는 프롬프트가 아니라 데이터 계층에서 강제
- 속도, 비용, 세션당 작업 수에 한도 설정
- 적절한 개인정보 보호 조치와 함께 프롬프트, 도구 호출, 결과를 기록하고 검토
- 문서와 링크를 통한 간접 인젝션을 포함한 적대적 입력으로 테스트
- 오용이 탐지되면 도구나 에이전트를 신속히 비활성화하는 방법 정의
포함되지 않은 것
- 프롬프트 인젝션을 완전히 막을 수 있다는 주장
- AI 시스템의 인증 또는 규제 승인
- AI 규제에 관한 법률 자문
- 별도로 합의하지 않은 운영 중인 에이전트의 지속적인 모니터링
선택해야 할 때
에이전트를 실제 도구나 데이터에 연결하기 전에, 그리고 새로운 도구, 데이터 소스, 사용자 그룹이 추가될 때마다 이러한 리스크를 다루십시오. 읽기 전용 내부 프로토타입으로는 안전했던 에이전트도 고객에게 이메일을 보낼 수 있게 되면 안전하지 않을 수 있습니다. 공급업체가 에이전트 플랫폼을 제공한다면, 도구 권한, 확인 단계, 로깅, 데이터 격리를 어떻게 처리하는지 물어보십시오.
우리의 접근 방식
완벽한 예방이 아니라 봉쇄를 전제로 설계하십시오. 주입된 지시가 성공했을 때 현실적으로 최악의 결과가 무엇일지 묻고, 그 결과가 수용 가능한 수준이 될 때까지 권한을 줄이고 확인 단계를 추가하십시오. 권한 부여 결정은 모델 외부의 결정론적 코드에 두십시오. 당사의 LLM & AI Agent Security Review는 합의된 AI 시스템에 대해 프롬프트 인젝션, 데이터 노출, 안전하지 않은 출력, 검색 관련 리스크, 도구 권한, 사람에게 넘기는 경계를 검토하고, 우선순위가 매겨진 권고가 담긴 서면 발견 사항을 제공합니다. 아직 에이전트를 설계 중이라면, Secure AI Agent Integration 서비스로 승인된 데이터, 범위가 제한된 도구, 검토 지점을 처음부터 갖추어 구축할 수 있으며, AI Governance, Policy & Data Safety 서비스로 그 사용 규칙을 정의할 수 있습니다. 모델, 도구, 데이터 소스가 바뀔 때마다 동작이 달라질 수 있으므로 그때마다 검토를 다시 하십시오.
자주 묻는 질문
관련 기사
시작하기
AI 에이전트를 실제 도구나 데이터에 연결하십니까?
에이전트, 그 도구, 데이터 소스, 사용자를 설명해 주십시오. 범위를 정한 보안 검토를 제안해 드리겠습니다.
서면 범위 요청하기