Gå till huvudinnehållet
BilgeQor

AI Red Teaming och säkerhetsbedömning av LLM

Se hur er AI-applikation beter sig under adversariell testning, med underbyggda fynd om promptinjektion, dataläckage och missbruk samt en prioriterad åtgärdslista.

Uppdrag med fastställd omfattning
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
  • BilgeQor LtdLondon, Storbritannien
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesien
Vi svarar inom 24 timmar.

Passar AI Red Teaming för behovet?

Passar bäst för

  • ✓Team som snart lanserar eller utökar en chattbot, copilot, sökning med retrieval-augmented generation eller AI-agent med åtkomst till företagets data eller verktyg
  • ✓Produkt- och säkerhetsansvariga som måste besvara frågor från kunder eller styrelsen om AI-risker med underbyggda belägg
  • ✓Organisationer som förbereder sig inför skyldigheterna enligt EU AI Act och vill veta hur deras system ligger till
  • ✓Utvecklingsteam vars modeller anropar verktyg, surfar på webben eller agerar på dokument som tillhandahålls av externa parter

En annan tjänst passar bättre om

  • –Ni vill att er webbapplikation och era API:er testas: Penetrationstestning och Säkerhetstestning av API:er omfattar det
  • –Ni vill ha en granskning av utformningen av en AI-agentintegration: LLM & AI Agent Security Review omfattar det
  • –Ni vill att en mänsklig motståndare simuleras mot er organisation: Red Team Exercise omfattar det

Vad vi utvärderar

  • Ta reda på om dolda instruktioner kan kapa er AI: testning av direkt och indirekt promptinjektion, inklusive instruktioner dolda i dokument, webbsidor, e-post och utdata från verktyg
  • Håll känsliga data inom organisationen: testning av läckage som omfattar systemprompter, hämtade dokument, tränings- eller finjusteringsdata och andra användares data
  • Se hur er policy håller: testning av missbruk mot den policy ni fastställt, med jailbreaks, förbigående av skydd mot skadligt innehåll och missbruk av tillåtna funktioner
  • Begränsa vad en agent kan göra: granskning av agenter och verktygsanvändning avseende alltför omfattande behörigheter, osäkra åtgärder, osäkra plugin-program och saknade steg för mänskligt godkännande
  • Säkra data bakom modellen: granskning av retrieval, vektorlager och datapipelines, inklusive åtkomstkontroll och vägar för förgiftning av data
  • Kontrollera kontrollerna runt modellen: granskning av autentisering, hastighetsbegränsning, hantering av utdata och loggning i den omgivande applikationen
  • Förbered er inför samtal om EU AI Act: kartläggning av beredskap avseende klassificering av system, dokumentation och luckor i tillsyn, presenterad som en beredskapsbild för era rådgivare

Leveranser

Typisk tidsplan
Normalt 2–4 veckor från undertecknad omfattning, beroende på antalet AI-system och verktyg inom omfattningen, vilket bekräftas i ert skriftliga förslag.
Prissättning
Fastprisförslag efter ett kostnadsfritt kartläggningssamtal.
En testplan och en sammanfattning av spelreglerna för uppdraget, så att alla vet vad som ska testas och var testningen slutar
Ett register över fynd med allvarlighetsgrad, prompter för att återskapa, underlag och åtgärdsvägledning, så att ert team kan återskapa och åtgärda varje problem
En redogörelse för angreppsvägar som visar hur problem samverkar i er applikation, så att ni ser den verkliga affärsrisken
Rekommendationer för skyddsräcken och kontroller över modell-, applikations- och datalager
En karta över beredskapen inför EU AI Act med identifierade luckor i dokumentation och tillsyn, redo att lämnas till era rådgivare
En återkoppling med intressenter inom produkt, säkerhet och utveckling. Omtestning av de åtgärder ni väljer att genomföra finns tillgänglig

Innan vi börjar

  • +Godkännande från en chef som äger AI-systemet, avseende testmetoderna och testkontona
  • +En test- eller stagingmiljö, eller begränsningar för testning i produktion
  • +Testkonton, API-åtkomst och dokumentation av modellen, verktygen, datakällorna och systemprompterna
  • +Skriftliga regler för godtagbar användning som omfattar testning av skadligt innehåll, datahantering och stoppvillkor
  • +Underrättelser till leverantören av modellen eller plattformen, där deras villkor kräver det
  • +Namngivna kontaktpersoner som är tillgängliga under testfönstret

Ingår inte (kan beställas separat)

  • Juridisk rådgivning eller en formell bedömning av efterlevnad av EU AI Act, bedömning av överensstämmelse eller certifiering. Vi ger er det beredskapsunderlag som era rådgivare behöver
  • Träning eller omträning av modeller, eller uppbyggnad av nya system med skyddsräcken, om det inte offereras separat
  • Testning av tredjeparts modellleverantörers egen infrastruktur samt denial-of-service-testning som kan påverka delad kapacitet eller produktionskapacitet
  • Allmän webb- och API-testning av värdapplikationen: finns som Penetrationstestning och Säkerhetstestning av API:er

Hur det fungerar

1

Omfattning och godkännande

Testningen startar först med ägarens skriftliga tillstånd och en undertecknad omfattning med överenskomna stoppvillkor, så att ert skarpa AI-system och dess användare förblir skyddade. Vi bekräftar AI-systemet, testmiljön, missbruksscenarierna och förbjudna åtgärder innan någon testning sker.

2

Hotmodellering

Vi kartlägger datakällor, verktyg, användare och förtroendegränser för att avgöra vilka angreppsvägar som är viktigast för ert system.

3

Adversariell testning

Vi genomför manuella och automatiska attacker mot systemet inom omfattningen och dokumenterar prompter, svar och underlag för varje fynd.

4

Rapportering

Vi levererar fynden, redogörelsen för angreppsvägar, rekommendationerna om kontroller och beredskapskartan i en form som era team kan agera på.

5

Återkoppling och omtestning

Vi går igenom resultaten med era intressenter och, om ni väljer det, omtestar de åtgärder ni har genomfört.

Begär en omfattning först. Vi svarar inom 24 timmar och bekräftar AI-systemet, integrationerna, godkännandet och testfönstret i ett skriftligt förslag. Arbetet påbörjas när den skriftliga omfattningen är bekräftad.

Omfattning och offert

Slutlig omfattning och offert beror på ert AI-system, era integrationer och testfönstret.

Därför BilgeQor

  • Varje fynd levereras med prompter för att återskapa det och underlag, och en redogörelse för angreppsvägar visar hur problem samverkar i er applikation.
  • Beredskapskartan inför EU AI Act ger era rådgivare en strukturerad bild av luckor i klassificering, dokumentation och tillsyn.
  • AI-systemet, testmiljön och stoppvillkoren fastställs först i en skriftlig omfattning. Testarna arbetar på distans, samordnade från Istanbul, Jakarta och London.

Vanliga frågor

Relaterade tjänster

Säkerhetsbedömning av OT, ICS och IoT

Säkerhetsbedömning av industriella styrsystem, nätverk för driftteknik (OT) och uppkopplade enheter, där säkerheten kommer först och som planeras tillsammans med era ingenjörer.

Testa era API:er för brister i åtkomst

Auktoriserad testning av era REST-, GraphQL- och mobila backend-API:er avseende bristfällig behörighetskontroll, injektion och brister i affärslogiken, med en tydlig åtgärdslista.

Stresstesta er AI-applikation

Beskriv ert AI-system och dess verktyg, så återkommer vi med ett skriftligt fastprisförslag.

Vad händer när du har skickat

  1. Vi granskar din förfrågan
  2. Samtal om omfattning
  3. Skriftligt förslag

Vi svarar inom 24 timmar.