LLM & AI Agent Security Review: bezpečnostní revize AI

Co to je?

Revize začíná příjmem informací o pracovním postupu a architektuře AI: jaký model nebo agent se používá, jaké informace dostává, jaké vyhledávání nebo nástroje jsou připojeny, jaké akce může provádět a kde zůstává odpovědný člověk. V rámci dohodnuté hranice může testování prověřit chování při prompt injection, cesty úniku dat, zacházení s nebezpečným výstupem, rizika vyhledávání, oprávnění nástrojů, hranice akcí, logování a předání. Zjištění jsou zdokumentována s kontextem a přiměřenými doporučeními k nápravě. Opakované testování lze dohodnout po provedení změn. Práce zůstává v hranicích bezpečného testování a autorizovaného rozsahu a metody jsou zvoleny tak, aby nenarušily živé systémy.

Pro koho to je?

Bezpečnostní revize AI je vhodná pro týmy, které:

• Mají pracovní postup s AI asistentem nebo agentem s definovanými nástroji, daty, uživateli a provozními hranicemi
• Potřebují před širším použitím strukturovanější pohled na rizika promptů, vyhledávání, oprávnění, výstupu nebo předání
• Chtějí zjištění a priority nápravy, které dávají přesný obraz bezpečnosti AI v rámci rozsahu
• Potřebují odlišit posouzení pracovního postupu s AI od širšího penetračního testu nesouvisející infrastruktury

Co to pomůže objasnit

Revize pomáhá ujasnit:

• Které dohodnuté scénáře AI, datové cesty, zdroje vyhledávání, nástroje a akce potřebují testování
• Kde prompt injection, nebezpečný výstup, nadměrná oprávnění, zneužití nástrojů nebo únik dat mohou vyžadovat opatření
• Jaké hranice logování, schvalování, záložního chování a předání člověku jsou v současném pracovním postupu viditelné
• Která zjištění potřebují opravu v produkci, opakovaný test, dotaz na dodavatele, rozhodnutí v oblasti řízení nebo samostatně vymezenou bezpečnostní práci

Co je zahrnuto

• Písemné potvrzení autorizovaných systémů, scénářů, přístupů, hranic bezpečného testování a výjimek
• Příjem informací o pracovním postupu a architektuře AI pokrývající modely, vyhledávání, data, nástroje, oprávnění, akce a předání
• Řízené testování dohodnutých scénářů prompt injection, úniku dat, nebezpečného výstupu, vyhledávání a oprávnění
• Zpráva se zjištěními s praktickým kontextem, prioritou a doporučeními k nápravě
• Revize logování, hranic akcí, záložního chování a bodů lidského schválení v rámci rozsahu
• Rozhovor při předání a možnosti opakovaného testování po samostatně dohodnuté nápravě

Co není součástí

• Úplný penetrační test nesouvisejících aplikací, infrastruktury, sítí nebo dodavatelů
• Neomezené útočné testování, narušení živých systémů nebo přístup mimo schválenou hranici
• Trénování modelu, fine-tuning, výměna modelu, opravy v produkci, nepřetržitý monitoring, spravovaná detekce nebo nouzová reakce
• Právní poradenství, formální certifikace, schválení souladu nebo příslib bezpečnosti AI
• Tvrzení, že bude nalezena nebo odstraněna každá zranitelnost, nebezpečný výstup, cesta injection nebo scénář úniku dat

Kdy si ji vybrat

LLM & AI Agent Security Review zvolte, když je pracovní postup definován natolik, že lze určit jeho zdroje, oprávnění, nástroje, uživatele a hranice rozhodování, ale tým potřebuje nezávislý pohled na jeho rizikovou pozici. Hodí se před širším zavedením, po změně integrace nebo když má tým obavy z prompt injection, vyhledávání, akcí nástrojů nebo citlivých informací. Méně se hodí, když jsou případ užití, hranice dat nebo odpovědnost stále nejasné; nejprve může být potřeba discovery pracovních postupů nebo řízení. Revize funguje nejlépe, když jsou k dispozici autorizovaný přístup, bezpečné testovací scénáře a vlastníci rozhodnutí o nápravě.

Náš přístup

Systémy a bezpečné scénáře sjednáváme před zahájením testování. Revize zvažuje, jak by útočník nebo neočekávaný vstup mohl v rámci dohodnutého pracovního postupu ovlivnit prompty, vyhledávání, používání nástrojů, výstup, oprávnění nebo rozhodnutí uživatelů. Vyhýbáme se rušivému testování a práci držíme v rámci schválených systémů. Zjištění odlišují pozorované chování od předpokladů a vysvětlují, jaký by mohl být přiměřený další krok. Některé problémy lze řešit konfigurací, kódem, změnami oprávnění, řízením zdrojů, lidskou kontrolou nebo samostatnou bezpečnostní zakázkou. Úspěšný výsledek se zaznamená pro testovaný kontext a konfiguraci. Předání dává týmu zdokumentovaný základ pro nápravu, odpovědnost a případné rozhodnutí o opakovaném testu. Uvádí také dosah testovacích podkladů: které oblasti byly mimo posouzení, co záviselo na poskytnutém přístupu a kde by změna modelu, zdroje, nástroje nebo konfigurace zavádění mohla vyvolat novou otázku. To podporuje pečlivější a průběžné navazující kroky.

Často kladené otázky

Související články