Bezpečnost AI agentů: prompt injection a zneužití nástrojů

Co to je?

Velké jazykové modely spolehlivě nerozlišují mezi pokyny od svého provozovatele a pokyny vloženými do dat, která zpracovávají. Přímá prompt injection nastává, když uživatel napíše pokyny určené k přepsání pravidel systému. Nepřímá prompt injection nastává, když model čte externí obsah, například webovou stránku, e-mail, dokument nebo tiket podpory, který obsahuje skryté pokyny, například k odhalení dat nebo zavolání nástroje. Další rizika situaci zhoršují. Citlivé informace mohou uniknout, když má model přístup k datům, která by uživatel neměl vidět. Nadměrná autonomie vzniká, když agent drží široká oprávnění k nástrojům, například možnost odesílat e-maily nebo mazat záznamy, bez potvrzení. Nesprávné zpracování výstupu nastává, když je výstup modelu předán přímo do kódu, dotazů nebo webových stránek bez validace. Rizika dodavatelského řetězce pocházejí z modelů, pluginů a konektorů třetích stran. OWASP Top 10 for LLM Applications (vydání 2025) tyto a související kategorie katalogizuje, například únik systémového promptu a neomezenou spotřebu, a OWASP GenAI Security Project zveřejňuje také pokyny specifické pro agentní aplikace. Protože žádná současná technika prompt injection zcela nezabrání, měl by návrh počítat s tím, že některé vložené pokyny uspějí, a omezit, co mohou způsobit.

Pro koho to je?

Tento průvodce je relevantní pro:

• Týmy, které vytvářejí agenty využívající nástroje, API nebo firemní data
• Firmy, které nasazují AI asistenty pro zákazníky nebo zaměstnance
• Vedoucí bezpečnosti a rizik, kteří mají schválit funkci založenou na AI
• Vlastníky produktů, kteří integrují AI platformy nebo konektory třetích stran

Co to pomůže objasnit

Přezkum těchto rizik pomáhá ujasnit:

• Která data může agent číst a zda na ně má nárok každý uživatel
• Které akce může agent provádět a které vyžadují lidské potvrzení
• Jak se nedůvěryhodný obsah dostává k modelu a co by mohl ovlivnit
• Kam výstup modelu dále proudí a zda je validován

Co je zahrnuto

• Sepište každý nástroj, konektor a zdroj dat, ke kterému má agent přístup
• Uplatněte princip nejmenších oprávnění: dejte každému nástroji nejužší oprávnění a omezte jej na aktuálního uživatele
• Vyžadujte lidské potvrzení u akcí, které odesílají, mažou, platí, publikují nebo mění oprávnění
• Načtený obsah, e-maily, soubory a webové stránky považujte za nedůvěryhodný vstup
• Oddělte systémové pokyny od uživatelského a načteného obsahu tak jasně, jak to platforma umožňuje
• Validujte a kódujte výstup modelu dříve, než se dostane do kódu, dotazů nebo webových stránek
• Řízení přístupu vynucujte v datové vrstvě, nikoli v promptu
• Nastavte limity počtu požadavků, nákladů a počtu akcí za relaci
• Logujte prompty, volání nástrojů a výsledky s odpovídajícími zárukami ochrany soukromí a vyhodnocujte je
• Testujte s nepřátelskými vstupy, včetně nepřímé injection prostřednictvím dokumentů a odkazů
• Definujte způsob, jak nástroj nebo agenta rychle vypnout, pokud je zjištěno zneužití

Co není součástí

• Tvrzení, že prompt injection lze zcela zabránit
• Certifikace nebo regulatorní schválení systému AI
• Právní poradenství k regulaci AI
• Nepřetržité monitorování produkčních agentů, pokud není dohodnuto samostatně

Kdy si ji vybrat

Tato rizika řešte dříve, než je agent připojen ke skutečným nástrojům nebo datům, a znovu vždy, když přibudou nové nástroje, zdroje dat nebo skupiny uživatelů. Agent, který byl bezpečný jako interní prototyp pouze pro čtení, nemusí být bezpečný, jakmile může odesílat e-maily zákazníkům. Pokud platformu pro agenta poskytuje dodavatel, zeptejte se, jak řeší oprávnění nástrojů, kroky potvrzení, logování a izolaci dat.

Náš přístup

Navrhujte s cílem omezit dopad, nikoli dokonale předcházet. Zeptejte se, jaký by byl nejhorší realistický výsledek, kdyby vložený pokyn uspěl, a poté omezujte oprávnění a přidávejte kroky potvrzení, dokud tento výsledek nebude přijatelný. Rozhodnutí o autorizaci ponechte v deterministickém kódu mimo model. Naše služba LLM & AI Agent Security Review prověřuje dohodnuté systémy AI z hlediska prompt injection, vystavení dat, nebezpečného výstupu, rizik vyhledávání, oprávnění nástrojů a hranic předání člověku a dodává písemná zjištění s prioritizovanými doporučeními. Pokud agenta teprve navrhujete, může jej služba Secure AI Agent Integration od začátku postavit se schválenými daty, vymezenými nástroji a kontrolními body a služba AI Governance, Policy & Data Safety může definovat pravidla jeho používání. K revizi se vraťte, když se změní modely, nástroje nebo zdroje dat, protože s každou změnou se může posunout i chování.

LLM & AI Agent Security Review

Často kladené otázky

Související články