Risker med AI-agenter: prompt injection och verktygsmissbruk

AI-agenter går från att svara på frågor till att utföra åtgärder: läsa inkorgar, ställa frågor mot databaser, uppdatera ärenden, skicka meddelanden och anropa API:er. Den förändringen påverkar säkerhetsbilden. En modell som bara producerar text kan vilseleda; en agent med verktyg kan agera utifrån den texten. Prompt injection, där instruktioner dolda i innehåll styr modellen, är den mest omdiskuterade risken, men den är en av flera. Den här guiden förklarar de viktigaste riskerna på ett enkelt sätt och de kontroller som minskar dem.

Vad det är

Stora språkmodeller skiljer inte på ett tillförlitligt sätt mellan instruktioner från operatören och instruktioner som är inbäddade i de data de bearbetar. Direkt prompt injection sker när en användare skriver instruktioner som är avsedda att åsidosätta systemets regler. Indirekt prompt injection sker när modellen läser externt innehåll, som en webbsida, ett e-postmeddelande, ett dokument eller ett supportärende, som innehåller dolda instruktioner, till exempel att avslöja data eller anropa ett verktyg. Andra risker förstärker detta. Känslig information kan läcka när modellen har åtkomst till data som användaren inte bör se. Överdriven handlingsfrihet (excessive agency) uppstår när en agent har breda verktygsbehörigheter, som möjlighet att skicka e-post eller radera poster, utan bekräftelse. Felaktig hantering av utdata uppstår när modellens utdata skickas direkt vidare till kod, frågor eller webbsidor utan validering. Risker i leveranskedjan kommer från tredjepartsmodeller, tillägg och kopplingar. OWASP Top 10 för LLM-applikationer (2025 års utgåva) katalogiserar dessa och närliggande kategorier, som läckage av systemprompt och obegränsad resursförbrukning, och OWASP GenAI Security Project publicerar även vägledning särskilt för agentbaserade applikationer. Eftersom ingen nuvarande teknik helt förhindrar prompt injection bör designen utgå från att vissa injicerade instruktioner lyckas, och begränsa vad de kan göra.

Vem det är för

Guiden är relevant för:

Team som bygger agenter som använder verktyg, API:er eller företagsdata
Företag som inför AI-assistenter för kunder eller personal
Säkerhets- och riskansvariga som ombeds godkänna en AI-funktion
Produktägare som integrerar AI-plattformar eller kopplingar från tredje part

Vad det hjälper till att klargöra

Att gå igenom riskerna hjälper till att klargöra:

Vilka data agenten kan läsa och om varje användare har rätt till dem
Vilka åtgärder agenten kan utföra och vilka som kräver mänsklig bekräftelse
Hur obetrott innehåll når modellen och vad det skulle kunna påverka
Vart modellens utdata tar vägen sedan och om de valideras

Vad ingår

Inventera varje verktyg, koppling och datakälla som agenten har åtkomst till
Tillämpa minsta behörighet: ge varje verktyg den snävaste behörigheten och avgränsa den till den aktuella användaren
Kräv mänsklig bekräftelse för åtgärder som skickar, raderar, betalar, publicerar eller ändrar behörigheter
Behandla hämtat innehåll, e-post, filer och webbsidor som obetrodd indata
Separera systeminstruktioner från användarinnehåll och hämtat innehåll så tydligt som plattformen tillåter
Validera och koda modellens utdata innan de når kod, frågor eller webbsidor
Upprätthåll åtkomstkontroll i datalagret, inte i prompten
Sätt gränser för frekvens, kostnad och antal åtgärder per session
Logga prompter, verktygsanrop och utfall med lämpliga integritetsskydd, och granska dem
Testa med fientliga indata, inklusive indirekt injektion via dokument och länkar
Definiera ett sätt att snabbt inaktivera ett verktyg eller agenten om missbruk upptäcks

Vad som inte ingår

Ett påstående om att prompt injection kan förhindras helt
Certifiering eller regulatoriskt godkännande av ett AI-system
Juridisk rådgivning om AI-reglering
Kontinuerlig övervakning av agenter i produktion, om det inte avtalats separat

När det passar att välja den

Hantera riskerna innan en agent kopplas till verkliga verktyg eller data, och igen varje gång nya verktyg, datakällor eller användargrupper läggs till. En agent som var säker som en intern prototyp med enbart läsbehörighet är inte nödvändigtvis säker när den kan skicka e-post till kunder. Om en leverantör tillhandahåller agentplattformen, fråga hur den hanterar verktygsbehörigheter, bekräftelsesteg, loggning och dataisolering.

Vår strategi

Designa för begränsning snarare än perfekt förebyggande. Fråga vad det värsta realistiska utfallet skulle vara om en injicerad instruktion lyckades, och minska sedan behörigheter och lägg till bekräftelsesteg tills det utfallet är acceptabelt. Håll behörighetsbeslut i deterministisk kod utanför modellen. Vår tjänst LLM & AI Agent Security Review undersöker överenskomna AI-system med avseende på prompt injection, exponering av data, osäkra utdata, risker vid informationshämtning (retrieval), verktygsbehörigheter och gränser för överlämning till människor, och levererar skriftliga fynd med prioriterade rekommendationer. Om ni fortfarande utformar agenten kan Secure AI Agent Integration bygga den med godkända data, avgränsade verktyg och kontrollpunkter från början, och AI Governance, Policy & Data Safety kan definiera användningsreglerna runt den. Gör om granskningen när modeller, verktyg eller datakällor ändras, eftersom beteendet kan förändras med var och en av dem.

LLM & AI Agent Security Review

Visa tjänstesidan för LLM & AI Agent Security Review