AI Red Teaming och säkerhetsbedömning av LLM
Se hur er AI-applikation beter sig under adversariell testning, med underbyggda fynd om promptinjektion, dataläckage och missbruk samt en prioriterad åtgärdslista.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLondon, Storbritannien
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesien
Passar AI Red Teaming för behovet?
Passar bäst för
- ✓Team som snart lanserar eller utökar en chattbot, copilot, sökning med retrieval-augmented generation eller AI-agent med åtkomst till företagets data eller verktyg
- ✓Produkt- och säkerhetsansvariga som måste besvara frågor från kunder eller styrelsen om AI-risker med underbyggda belägg
- ✓Organisationer som förbereder sig inför skyldigheterna enligt EU AI Act och vill veta hur deras system ligger till
- ✓Utvecklingsteam vars modeller anropar verktyg, surfar på webben eller agerar på dokument som tillhandahålls av externa parter
En annan tjänst passar bättre om
- –Ni vill att er webbapplikation och era API:er testas: Penetrationstestning och Säkerhetstestning av API:er omfattar det
- –Ni vill ha en granskning av utformningen av en AI-agentintegration: LLM & AI Agent Security Review omfattar det
- –Ni vill att en mänsklig motståndare simuleras mot er organisation: Red Team Exercise omfattar det
Vad vi utvärderar
- Ta reda på om dolda instruktioner kan kapa er AI: testning av direkt och indirekt promptinjektion, inklusive instruktioner dolda i dokument, webbsidor, e-post och utdata från verktyg
- Håll känsliga data inom organisationen: testning av läckage som omfattar systemprompter, hämtade dokument, tränings- eller finjusteringsdata och andra användares data
- Se hur er policy håller: testning av missbruk mot den policy ni fastställt, med jailbreaks, förbigående av skydd mot skadligt innehåll och missbruk av tillåtna funktioner
- Begränsa vad en agent kan göra: granskning av agenter och verktygsanvändning avseende alltför omfattande behörigheter, osäkra åtgärder, osäkra plugin-program och saknade steg för mänskligt godkännande
- Säkra data bakom modellen: granskning av retrieval, vektorlager och datapipelines, inklusive åtkomstkontroll och vägar för förgiftning av data
- Kontrollera kontrollerna runt modellen: granskning av autentisering, hastighetsbegränsning, hantering av utdata och loggning i den omgivande applikationen
- Förbered er inför samtal om EU AI Act: kartläggning av beredskap avseende klassificering av system, dokumentation och luckor i tillsyn, presenterad som en beredskapsbild för era rådgivare
Leveranser
- Typisk tidsplan
- Normalt 2–4 veckor från undertecknad omfattning, beroende på antalet AI-system och verktyg inom omfattningen, vilket bekräftas i ert skriftliga förslag.
- Prissättning
- Fastprisförslag efter ett kostnadsfritt kartläggningssamtal.
Innan vi börjar
- +Godkännande från en chef som äger AI-systemet, avseende testmetoderna och testkontona
- +En test- eller stagingmiljö, eller begränsningar för testning i produktion
- +Testkonton, API-åtkomst och dokumentation av modellen, verktygen, datakällorna och systemprompterna
- +Skriftliga regler för godtagbar användning som omfattar testning av skadligt innehåll, datahantering och stoppvillkor
- +Underrättelser till leverantören av modellen eller plattformen, där deras villkor kräver det
- +Namngivna kontaktpersoner som är tillgängliga under testfönstret
Ingår inte (kan beställas separat)
- Juridisk rådgivning eller en formell bedömning av efterlevnad av EU AI Act, bedömning av överensstämmelse eller certifiering. Vi ger er det beredskapsunderlag som era rådgivare behöver
- Träning eller omträning av modeller, eller uppbyggnad av nya system med skyddsräcken, om det inte offereras separat
- Testning av tredjeparts modellleverantörers egen infrastruktur samt denial-of-service-testning som kan påverka delad kapacitet eller produktionskapacitet
- Allmän webb- och API-testning av värdapplikationen: finns som Penetrationstestning och Säkerhetstestning av API:er
Hur det fungerar
Omfattning och godkännande
Testningen startar först med ägarens skriftliga tillstånd och en undertecknad omfattning med överenskomna stoppvillkor, så att ert skarpa AI-system och dess användare förblir skyddade. Vi bekräftar AI-systemet, testmiljön, missbruksscenarierna och förbjudna åtgärder innan någon testning sker.
Hotmodellering
Vi kartlägger datakällor, verktyg, användare och förtroendegränser för att avgöra vilka angreppsvägar som är viktigast för ert system.
Adversariell testning
Vi genomför manuella och automatiska attacker mot systemet inom omfattningen och dokumenterar prompter, svar och underlag för varje fynd.
Rapportering
Vi levererar fynden, redogörelsen för angreppsvägar, rekommendationerna om kontroller och beredskapskartan i en form som era team kan agera på.
Återkoppling och omtestning
Vi går igenom resultaten med era intressenter och, om ni väljer det, omtestar de åtgärder ni har genomfört.
Begär en omfattning först. Vi svarar inom 24 timmar och bekräftar AI-systemet, integrationerna, godkännandet och testfönstret i ett skriftligt förslag. Arbetet påbörjas när den skriftliga omfattningen är bekräftad.
Omfattning och offert
Slutlig omfattning och offert beror på ert AI-system, era integrationer och testfönstret.
Därför BilgeQor
- Varje fynd levereras med prompter för att återskapa det och underlag, och en redogörelse för angreppsvägar visar hur problem samverkar i er applikation.
- Beredskapskartan inför EU AI Act ger era rådgivare en strukturerad bild av luckor i klassificering, dokumentation och tillsyn.
- AI-systemet, testmiljön och stoppvillkoren fastställs först i en skriftlig omfattning. Testarna arbetar på distans, samordnade från Istanbul, Jakarta och London.
Vanliga frågor
Relaterade tjänster
Säkerhetsbedömning av OT, ICS och IoT
Säkerhetsbedömning av industriella styrsystem, nätverk för driftteknik (OT) och uppkopplade enheter, där säkerheten kommer först och som planeras tillsammans med era ingenjörer.
Testa era API:er för brister i åtkomst
Auktoriserad testning av era REST-, GraphQL- och mobila backend-API:er avseende bristfällig behörighetskontroll, injektion och brister i affärslogiken, med en tydlig åtgärdslista.
Stresstesta er AI-applikation
Beskriv ert AI-system och dess verktyg, så återkommer vi med ett skriftligt fastprisförslag.
Vad händer när du har skickat
- Vi granskar din förfrågan
- Samtal om omfattning
- Skriftligt förslag
Vi svarar inom 24 timmar.
