AI-agenters sikkerhedsrisici: prompt injection og værktøjsmisbrug

Hvad det er

Store sprogmodeller skelner ikke pålideligt mellem instruktioner fra deres operatør og instruktioner indlejret i de data, de behandler. Direkte prompt injection sker, når en bruger skriver instruktioner, der skal tilsidesætte systemets regler. Indirekte prompt injection sker, når modellen læser eksternt indhold, såsom en webside, en e-mail, et dokument eller en supportsag, der indeholder skjulte instruktioner, for eksempel om at afsløre data eller kalde et værktøj. Andre risici forstærker dette. Følsomme oplysninger kan lække, når modellen har adgang til data, som brugeren ikke bør se. For vidtgående handlefrihed (excessive agency) opstår, når en agent har brede rettigheder til værktøjer, såsom muligheden for at sende e-mail eller slette poster, uden bekræftelse. Forkert håndtering af output opstår, når modellens output sendes direkte videre til kode, forespørgsler eller websider uden validering. Risici i forsyningskæden kommer fra tredjeparters modeller, plugins og connectors. OWASP Top 10 for LLM Applications (2025-udgaven) katalogiserer disse og beslægtede kategorier, såsom lækage af systemprompten og ubegrænset forbrug, og OWASP GenAI Security Project offentliggør også vejledning specifikt for agentbaserede applikationer. Fordi ingen nuværende teknik fuldt ud forhindrer prompt injection, bør designet forudsætte, at nogle injicerede instruktioner vil lykkes, og begrænse, hvad de kan gøre.

Hvem er det for?

Denne guide er relevant for:

• Teams, der bygger agenter, som bruger værktøjer, API’er eller virksomhedens data
• Virksomheder, der udruller AI-assistenter til kunder eller medarbejdere
• Ansvarlige for sikkerhed og risiko, der bliver bedt om at godkende en AI-funktion
• Produktejere, der integrerer AI-platforme eller connectors fra tredjeparter

Hvad det hjælper med at afklare

At gennemgå disse risici hjælper med at afklare:

• Hvilke data agenten kan læse, og om hver bruger har ret til dem
• Hvilke handlinger agenten kan udføre, og hvilke der kræver menneskelig bekræftelse
• Hvordan indhold, der ikke er tillid til, når frem til modellen, og hvad det kan påvirke
• Hvor modellens output flyder hen bagefter, og om det valideres

Hvad er inkluderet

• Opret en oversigt over alle værktøjer, connectors og datakilder, agenten har adgang til
• Anvend mindste privilegium: giv hvert værktøj den snævreste rettighed, og afgræns det til den aktuelle bruger
• Kræv menneskelig bekræftelse for handlinger, der sender, sletter, betaler, publicerer eller ændrer rettigheder
• Behandl hentet indhold, e-mails, filer og websider som input, der ikke er tillid til
• Adskil systeminstruktioner fra bruger- og hentet indhold så tydeligt, som platformen tillader
• Validér og kod modellens output, før det når kode, forespørgsler eller websider
• Håndhæv adgangskontrol i datalaget, ikke i prompten
• Sæt grænser for rate, omkostninger og antal handlinger pr. session
• Log prompts, værktøjskald og resultater med passende beskyttelse af privatlivet, og gennemgå dem
• Test med fjendtlige input, herunder indirekte injection via dokumenter og links
• Definér en måde til hurtigt at deaktivere et værktøj eller agenten, hvis misbrug opdages

Hvad er ikke inkluderet?

• En påstand om, at prompt injection kan forhindres fuldstændigt
• Certificering eller regulatorisk godkendelse af et AI-system
• Juridisk rådgivning om regulering af AI
• Løbende overvågning af agenter i produktion, medmindre det aftales separat

Hvornår du skal vælge det

Adressér disse risici, før en agent forbindes med rigtige værktøjer eller data, og igen, hver gang nye værktøjer, datakilder eller brugergrupper tilføjes. En agent, der var sikker som en intern prototype med kun læseadgang, er måske ikke sikker, når den kan sende e-mail til kunder. Hvis en leverandør stiller agentplatformen til rådighed, så spørg, hvordan den håndterer rettigheder til værktøjer, bekræftelsestrin, logning og dataisolering.

Vores tilgang

Design med henblik på inddæmning frem for perfekt forebyggelse. Spørg, hvad det værste realistiske udfald ville være, hvis en injiceret instruktion lykkedes, og reducér derefter rettighederne og tilføj bekræftelsestrin, indtil det udfald er acceptabelt. Hold autorisationsbeslutninger i deterministisk kode uden for modellen. Vores tjeneste LLM & AI Agent Security Review undersøger aftalte AI-systemer for prompt injection, eksponering af data, usikkert output, risici ved hentning, rettigheder til værktøjer og grænser for overdragelse til mennesker og leverer skriftlige fund med prioriterede anbefalinger. Hvis I stadig designer agenten, kan Secure AI Agent Integration bygge den med godkendte data, afgrænsede værktøjer og gennemgangspunkter fra starten, og AI Governance, Policy & Data Safety kan definere brugsreglerne omkring den. Gentag gennemgangen, når modeller, værktøjer eller datakilder ændres, fordi adfærden kan skifte med hver ændring.

LLM & AI Agent Security Review

Ofte stillede spørgsmål

Relaterede artikler