AI red teaming a posouzení bezpečnosti LLM
Uvidíte, jak se vaše AI aplikace chová při adversariálním testování, s doloženými zjištěními k prompt injection, úniku dat a zneužití a s prioritizovaným seznamem oprav.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Turecko
- BilgeQor LtdLondýn, Spojené království
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonésie
Je AI red teaming vhodná volba?
Nejvhodnější pro
- ✓Týmy, které se chystají spustit nebo rozšířit chatbota, copilota, vyhledávání rozšířené o načtená data či AI agenta s přístupem k firemním datům nebo nástrojům
- ✓Vedoucí produktu a bezpečnosti, kteří musí na otázky zákazníků nebo představenstva ohledně rizik AI odpovídat s doklady
- ✓Organizace, které se připravují na povinnosti vyplývající z EU AI Act a chtějí vědět, kde jejich systémy stojí
- ✓Vývojové týmy, jejichž modely volají nástroje, prochází web nebo jednají na základě dokumentů dodaných třetími stranami
Jiná služba se hodí lépe, pokud
- –Chcete otestovat svou webovou aplikaci a API: Penetrační testování a Testování bezpečnosti API to pokrývají
- –Chcete revizi návrhu integrace AI agenta: Revize zabezpečení LLM a AI agentů to pokrývá
- –Chcete simulovat lidského útočníka proti vaší organizaci: Cvičení Red Team to pokrývá
Co hodnotíme
- Zjistíte, zda lze vaši AI ovládnout skrytými pokyny: testování přímé i nepřímé prompt injection, včetně pokynů ukrytých v dokumentech, webových stránkách, e-mailech a výstupech nástrojů
- Citlivá data zůstanou uvnitř: testování úniků zahrnující systémové prompty, načtené dokumenty, trénovací nebo dolaďovací data a data jiných uživatelů
- Uvidíte, jak obstojí vaše pravidla: testování zneužití proti vámi nastavené politice, včetně jailbreaků, obcházení filtrů škodlivého obsahu a zneužití povolených funkcí
- Omezíte, co smí agent dělat: revize agentů a používání nástrojů zaměřená na nadměrná oprávnění, nebezpečné akce, nezabezpečené pluginy a chybějící kroky lidského schválení
- Zabezpečíte data za modelem: revize vyhledávání, vektorového úložiště a datových pipeline, včetně řízení přístupu a cest k otrávení dat
- Ověříte kontroly kolem modelu: revize autentizace, omezování četnosti požadavků, zpracování výstupů a logování v okolní aplikaci
- Připravíte se na rozhovory o EU AI Act: mapování připravenosti z hlediska klasifikace systému, dokumentace a mezer v dohledu, prezentované jako pohled na připravenost pro vaše poradce
Výstupy
- Typický harmonogram
- Obvykle 2–4 týdny od podepsaného rozsahu podle počtu AI systémů a nástrojů v rozsahu, potvrzeno ve vaší písemné nabídce.
- Cena
- Nabídka s pevnou cenou po bezplatném hovoru k vymezení rozsahu.
Než začneme
- +Schválení vedoucím pracovníkem, který za AI systém odpovídá, zahrnující testovací metody a testovací účty
- +Testovací nebo stagingové prostředí, případně limity pro testování v produkci
- +Testovací účty, přístup k API a dokumentace modelu, nástrojů, zdrojů dat a systémových promptů
- +Písemná pravidla přijatelného používání pro testování škodlivého obsahu, nakládání s daty a podmínky zastavení
- +Oznámení poskytovateli modelu nebo platformě, pokud je jejich podmínky vyžadují
- +Jmenované kontaktní osoby dostupné během testovacího okna
Není součástí (k dispozici samostatně)
- Právní poradenství nebo formální určení shody s EU AI Act, posouzení shody či certifikace; poskytujeme vám podklady o připravenosti, které vaši poradci potřebují
- Trénování nebo přetrénování modelů či budování nových systémů ochranných mechanismů, pokud to není nabídnuto samostatně
- Testování vlastní infrastruktury poskytovatelů modelů třetích stran a testování odepření služby, které by mohlo ovlivnit sdílenou nebo produkční kapacitu
- Obecné testování webu a API hostitelské aplikace: k dispozici jako Penetrační testování a Testování bezpečnosti API
Jak to funguje
Rozsah a odsouhlasení
Testování začíná pouze s písemným svolením vlastníka a podepsaným rozsahem s dohodnutými podmínkami zastavení, aby váš provozní AI systém a jeho uživatelé zůstali chráněni. Před jakýmkoli testováním potvrdíme AI systém, testovací prostředí, scénáře zneužití a zakázané akce.
Modelování hrozeb
Zmapujeme zdroje dat, nástroje, uživatele a hranice důvěry, abychom určili, které útočné cesty jsou pro váš systém nejdůležitější.
Adversariální testování
Provádíme manuální i automatizované útoky na systém v rozsahu a u každého zjištění zaznamenáváme prompty, odpovědi a důkazy.
Reportování
Zjištění, popis útočných cest, doporučení ke kontrolám a mapu připravenosti předáváme ve formě, se kterou mohou vaše týmy pracovat.
Závěrečné představení a opakovaný test
Provedeme vaše zainteresované osoby výsledky a podle vašeho rozhodnutí znovu otestujeme opravy, které jste provedli.
Nejprve požádejte o vymezení rozsahu. Odpovíme do 24 hodin a v písemné nabídce potvrdíme systém AI, integrace, oprávnění a časové okno testování. Práce začnou po potvrzení písemného rozsahu.
Rozsah a cenová nabídka
Konečný rozsah a cenová nabídka závisí na vašem systému AI, integracích a časovém okně testování.
Proč BilgeQor
- Každé zjištění přichází s reprodukčními prompty a důkazy a popis útočných cest ukazuje, jak se problémy ve vaší aplikaci kombinují.
- Mapa připravenosti na EU AI Act dává vašim poradcům strukturovaný pohled na klasifikaci, dokumentaci a mezery v dohledu.
- AI systém, testovací prostředí a podmínky zastavení se nejprve stanoví v písemném rozsahu; testeři pracují na dálku, koordinováni z Istanbulu, Jakarty a Londýna.
Často kladené otázky
Související služby
Posouzení zabezpečení OT, ICS a IoT
Bezpečnostní posouzení průmyslových řídicích systémů, sítí provozních technologií a připojených zařízení s důrazem na bezpečnost provozu, plánované společně s vašimi inženýry.
Otestujte svá API na chyby v přístupu
Autorizované testování vašich API REST, GraphQL a mobilních backendů na chybnou autorizaci, injekce a chyby v obchodní logice, s přehledným seznamem oprav.
Prověřte svou AI aplikaci zátěžovým testem
Popište svůj AI systém a jeho nástroje; nabídka s pevnou cenou vám přijde písemně.
Co se stane po odeslání
- Posoudíme váš požadavek
- Rozhovor o rozsahu
- Písemná nabídka
Odpovídáme do 24 hodin.
