Přeskočit na hlavní obsah
BilgeQor

AI red teaming a posouzení bezpečnosti LLM

Uvidíte, jak se vaše AI aplikace chová při adversariálním testování, s doloženými zjištěními k prompt injection, úniku dat a zneužití a s prioritizovaným seznamem oprav.

Zakázka s vymezeným rozsahem
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Turecko
  • BilgeQor LtdLondýn, Spojené království
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonésie
Odpovídáme do 24 hodin.

Je AI red teaming vhodná volba?

Nejvhodnější pro

  • ✓Týmy, které se chystají spustit nebo rozšířit chatbota, copilota, vyhledávání rozšířené o načtená data či AI agenta s přístupem k firemním datům nebo nástrojům
  • ✓Vedoucí produktu a bezpečnosti, kteří musí na otázky zákazníků nebo představenstva ohledně rizik AI odpovídat s doklady
  • ✓Organizace, které se připravují na povinnosti vyplývající z EU AI Act a chtějí vědět, kde jejich systémy stojí
  • ✓Vývojové týmy, jejichž modely volají nástroje, prochází web nebo jednají na základě dokumentů dodaných třetími stranami

Jiná služba se hodí lépe, pokud

  • –Chcete otestovat svou webovou aplikaci a API: Penetrační testování a Testování bezpečnosti API to pokrývají
  • –Chcete revizi návrhu integrace AI agenta: Revize zabezpečení LLM a AI agentů to pokrývá
  • –Chcete simulovat lidského útočníka proti vaší organizaci: Cvičení Red Team to pokrývá

Co hodnotíme

  • Zjistíte, zda lze vaši AI ovládnout skrytými pokyny: testování přímé i nepřímé prompt injection, včetně pokynů ukrytých v dokumentech, webových stránkách, e-mailech a výstupech nástrojů
  • Citlivá data zůstanou uvnitř: testování úniků zahrnující systémové prompty, načtené dokumenty, trénovací nebo dolaďovací data a data jiných uživatelů
  • Uvidíte, jak obstojí vaše pravidla: testování zneužití proti vámi nastavené politice, včetně jailbreaků, obcházení filtrů škodlivého obsahu a zneužití povolených funkcí
  • Omezíte, co smí agent dělat: revize agentů a používání nástrojů zaměřená na nadměrná oprávnění, nebezpečné akce, nezabezpečené pluginy a chybějící kroky lidského schválení
  • Zabezpečíte data za modelem: revize vyhledávání, vektorového úložiště a datových pipeline, včetně řízení přístupu a cest k otrávení dat
  • Ověříte kontroly kolem modelu: revize autentizace, omezování četnosti požadavků, zpracování výstupů a logování v okolní aplikaci
  • Připravíte se na rozhovory o EU AI Act: mapování připravenosti z hlediska klasifikace systému, dokumentace a mezer v dohledu, prezentované jako pohled na připravenost pro vaše poradce

Výstupy

Typický harmonogram
Obvykle 2–4 týdny od podepsaného rozsahu podle počtu AI systémů a nástrojů v rozsahu, potvrzeno ve vaší písemné nabídce.
Cena
Nabídka s pevnou cenou po bezplatném hovoru k vymezení rozsahu.
Testovací plán a shrnutí pravidel zapojení, aby všichni věděli, co se bude testovat a kde testování končí
Registr zjištění se závažností, reprodukčními prompty, důkazy a doporučeními k nápravě, aby váš tým mohl každý problém reprodukovat a opravit
Popis útočných cest ukazující, jak se problémy ve vaší aplikaci kombinují, abyste viděli skutečné obchodní riziko
Doporučení k ochranným mechanismům a kontrolám napříč vrstvou modelu, aplikace a dat
Mapa připravenosti na EU AI Act s identifikovanými mezerami v dokumentaci a dohledu, připravená k předání vašim poradcům
Závěrečné představení výsledků pro zainteresované osoby z produktu, bezpečnosti a vývoje; opakovaný test oprav, které se rozhodnete provést, je k dispozici

Než začneme

  • +Schválení vedoucím pracovníkem, který za AI systém odpovídá, zahrnující testovací metody a testovací účty
  • +Testovací nebo stagingové prostředí, případně limity pro testování v produkci
  • +Testovací účty, přístup k API a dokumentace modelu, nástrojů, zdrojů dat a systémových promptů
  • +Písemná pravidla přijatelného používání pro testování škodlivého obsahu, nakládání s daty a podmínky zastavení
  • +Oznámení poskytovateli modelu nebo platformě, pokud je jejich podmínky vyžadují
  • +Jmenované kontaktní osoby dostupné během testovacího okna

Není součástí (k dispozici samostatně)

  • Právní poradenství nebo formální určení shody s EU AI Act, posouzení shody či certifikace; poskytujeme vám podklady o připravenosti, které vaši poradci potřebují
  • Trénování nebo přetrénování modelů či budování nových systémů ochranných mechanismů, pokud to není nabídnuto samostatně
  • Testování vlastní infrastruktury poskytovatelů modelů třetích stran a testování odepření služby, které by mohlo ovlivnit sdílenou nebo produkční kapacitu
  • Obecné testování webu a API hostitelské aplikace: k dispozici jako Penetrační testování a Testování bezpečnosti API

Jak to funguje

1

Rozsah a odsouhlasení

Testování začíná pouze s písemným svolením vlastníka a podepsaným rozsahem s dohodnutými podmínkami zastavení, aby váš provozní AI systém a jeho uživatelé zůstali chráněni. Před jakýmkoli testováním potvrdíme AI systém, testovací prostředí, scénáře zneužití a zakázané akce.

2

Modelování hrozeb

Zmapujeme zdroje dat, nástroje, uživatele a hranice důvěry, abychom určili, které útočné cesty jsou pro váš systém nejdůležitější.

3

Adversariální testování

Provádíme manuální i automatizované útoky na systém v rozsahu a u každého zjištění zaznamenáváme prompty, odpovědi a důkazy.

4

Reportování

Zjištění, popis útočných cest, doporučení ke kontrolám a mapu připravenosti předáváme ve formě, se kterou mohou vaše týmy pracovat.

5

Závěrečné představení a opakovaný test

Provedeme vaše zainteresované osoby výsledky a podle vašeho rozhodnutí znovu otestujeme opravy, které jste provedli.

Nejprve požádejte o vymezení rozsahu. Odpovíme do 24 hodin a v písemné nabídce potvrdíme systém AI, integrace, oprávnění a časové okno testování. Práce začnou po potvrzení písemného rozsahu.

Rozsah a cenová nabídka

Konečný rozsah a cenová nabídka závisí na vašem systému AI, integracích a časovém okně testování.

Proč BilgeQor

  • Každé zjištění přichází s reprodukčními prompty a důkazy a popis útočných cest ukazuje, jak se problémy ve vaší aplikaci kombinují.
  • Mapa připravenosti na EU AI Act dává vašim poradcům strukturovaný pohled na klasifikaci, dokumentaci a mezery v dohledu.
  • AI systém, testovací prostředí a podmínky zastavení se nejprve stanoví v písemném rozsahu; testeři pracují na dálku, koordinováni z Istanbulu, Jakarty a Londýna.

Často kladené otázky

Související služby

Posouzení zabezpečení OT, ICS a IoT

Bezpečnostní posouzení průmyslových řídicích systémů, sítí provozních technologií a připojených zařízení s důrazem na bezpečnost provozu, plánované společně s vašimi inženýry.

Otestujte svá API na chyby v přístupu

Autorizované testování vašich API REST, GraphQL a mobilních backendů na chybnou autorizaci, injekce a chyby v obchodní logice, s přehledným seznamem oprav.

Prověřte svou AI aplikaci zátěžovým testem

Popište svůj AI systém a jeho nástroje; nabídka s pevnou cenou vám přijde písemně.

Co se stane po odeslání

  1. Posoudíme váš požadavek
  2. Rozhovor o rozsahu
  3. Písemná nabídka

Odpovídáme do 24 hodin.