LLM & AI Agent Security Review forklaret

Hvad det er

Gennemgangen begynder med en kortlægning af AI-arbejdsgangen og arkitekturen: hvilken model eller agent der bruges, hvilke oplysninger den modtager, hvilken søgning eller hvilke værktøjer der er tilknyttet, hvilke handlinger den kan udføre, og hvor et menneske fortsat har ansvaret. Inden for den aftalte afgrænsning kan testen undersøge adfærd ved prompt injection, veje til eksponering af data, håndtering af usikkert output, søgerisici, værktøjstilladelser, grænser for handlinger, logning og overdragelse. Fundene dokumenteres med kontekst og proportional vejledning til udbedring. En gentest kan aftales, når ændringerne er gennemført. Arbejdet holder sig inden for sikre testgrænser og det autoriserede omfang med metoder, der er valgt for at undgå forstyrrelse af live systemer.

Hvem er det for?

En sikkerhedsgennemgang af AI passer til teams, der:

• Har en AI-assistent eller en agentarbejdsgang med definerede værktøjer, data, brugere og driftsgrænser
• Har brug for et mere struktureret billede af risici ved prompts, søgning, tilladelser, output eller overdragelse før en bredere brug
• Ønsker fund og prioriteter for udbedring, der giver et præcist billede af AI-sikkerheden inden for omfanget
• Har brug for at skelne en vurdering af en AI-arbejdsgang fra en bredere penetrationstest af urelateret infrastruktur

Hvad det hjælper med at afklare

Gennemgangen hjælper med at afklare:

• Hvilke aftalte AI-scenarier, datastier, søgekilder, værktøjer og handlinger der skal testes
• Hvor prompt injection, usikkert output, for vidtgående tilladelser, misbrug af værktøjer eller eksponering af data kan kræve kontroller
• Hvilke grænser for logning, godkendelse, fallback og overdragelse til mennesker der er synlige i den nuværende arbejdsgang
• Hvilke fund der kræver en rettelse i produktion, en gentest, et spørgsmål til leverandøren, en governance-beslutning eller separat afgrænset sikkerhedsarbejde

Hvad er inkluderet

• Skriftlig bekræftelse af autoriserede systemer, scenarier, adgang, sikre testgrænser og udeladelser
• Kortlægning af AI-arbejdsgang og arkitektur, der dækker modeller, søgning, data, værktøjer, tilladelser, handlinger og overdragelse
• Kontrolleret test af aftalte scenarier for prompt injection, eksponering af data, usikkert output, søgning og tilladelser
• En rapport over fund med praktisk kontekst, prioritet og vejledning til udbedring
• Gennemgang af logning, grænser for handlinger, fallback-adfærd og menneskelige godkendelsespunkter inden for omfanget
• Overdragelsesdrøftelse og mulige muligheder for gentest efter separat aftalt udbedring

Hvad er ikke inkluderet?

• En fuld penetrationstest af urelaterede applikationer, infrastruktur, netværk eller leverandører
• Ubegrænset fjendtlig test, forstyrrelse af live systemer eller adgang uden for den godkendte afgrænsning
• Træning, finjustering eller udskiftning af modeller, rettelser i produktion, overvågning døgnet rundt, managed detection eller akut beredskab
• Juridisk rådgivning, formel certificering, compliance-godkendelse eller et løfte om AI-sikkerhed
• En påstand om, at enhver sårbarhed, ethvert usikkert output, enhver injektionsvej eller ethvert scenarie med eksponering af data vil blive fundet eller elimineret

Hvornår du skal vælge det

Vælg en LLM & AI Agent Security Review, når en arbejdsgang er tilstrækkeligt defineret til at identificere dens kilder, tilladelser, værktøjer, brugere og beslutningsgrænser, men teamet har brug for et uafhængigt billede af dens risikoprofil. Den er nyttig før en bredere udrulning, efter at en integration er ændret, eller når et team er bekymret for prompt injection, søgning, værktøjshandlinger eller følsomme oplysninger. Den er mindre egnet, når anvendelsen, dataafgrænsningen eller ejerskabet stadig er uklart; her kan discovery af arbejdsgange eller governance være nødvendig først. Gennemgangen fungerer bedst, når autoriseret adgang, sikre testscenarier og ejere af beslutninger om udbedring er tilgængelige.

Vores tilgang

Vi aftaler systemerne og de sikre scenarier, før testen begynder. Gennemgangen overvejer, hvordan en angriber eller et uventet input kan påvirke prompts, søgning, brug af værktøjer, output, tilladelser eller brugerbeslutninger inden for den aftalte arbejdsgang. Vi undgår forstyrrende test og holder arbejdet inden for de godkendte systemer. Fundene skelner observeret adfærd fra antagelser og forklarer, hvad et proportionalt næste skridt kunne være. Nogle problemer kan håndteres gennem konfiguration, kode, ændringer af tilladelser, governance af kilder, menneskelig gennemgang eller en separat sikkerhedsopgave. Et bestået resultat registreres for den testede sammenhæng og konfiguration. Overdragelsen giver teamet et dokumenteret grundlag for udbedring, ejerskab og en eventuel beslutning om gentest. Den angiver også testdokumentationens rækkevidde: hvilke områder der lå uden for vurderingen, hvad der afhang af den tildelte adgang, og hvor en ændring af model, kilde, værktøj eller udrulningskonfiguration kan rejse et nyt spørgsmål. Det understøtter en mere omhyggelig og løbende opfølgning.

Ofte stillede spørgsmål

Relaterede artikler