AI Red Teaming og sikkerhetsvurdering av LLM-er
Se hvordan AI-applikasjonen din oppfører seg under adversariell testing, med dokumenterte funn om prompt injection, datalekkasje og misbruk, og en prioritert utbedringsliste.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLondon, Det forente kongerike
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Passer AI Red Teaming for behovet?
Best egnet for
- ✓Team som er i ferd med å lansere eller utvide en chatbot, copilot, søk med retrieval-augmented generation eller AI-agent med tilgang til bedriftsdata eller verktøy
- ✓Produkt- og sikkerhetsledere som må kunne svare kunder eller styret på spørsmål om AI-risiko med dokumentasjon
- ✓Organisasjoner som forbereder seg på forpliktelser under EU AI Act og vil vite hvor systemene deres står
- ✓Utviklingsteam der modellene kaller verktøy, surfer på nettet eller handler på dokumenter levert av eksterne parter
En annen tjeneste passer bedre hvis
- –Du ønsker at webapplikasjonen og API-ene dine testes: Penetrasjonstesting og Sikkerhetstesting av API-er dekker det
- –Du ønsker en gjennomgang av utformingen av en AI-agentintegrasjon: LLM & AI Agent Security Review dekker det
- –Du ønsker at en menneskelig motstander simuleres mot organisasjonen din: Red Team Exercise dekker det
Hva vi vurderer
- Vit om skjulte instruksjoner kan kapre AI-en din: testing av direkte og indirekte prompt injection, inkludert instruksjoner skjult i dokumenter, nettsider, e-poster og utdata fra verktøy
- Hold sensitive data inne: lekkasjetesting som omfatter systemprompter, hentede dokumenter, trenings- eller finjusteringsdata og andre brukeres data
- Se hvordan retningslinjene dine holder: misbrukstesting mot retningslinjene du har satt, med jailbreaks, omgåelse av filtre for skadelig innhold og misbruk av tillatte funksjoner
- Begrens hva en agent kan gjøre: gjennomgang av agent- og verktøybruk med tanke på for omfattende tilganger, utrygge handlinger, usikre plugins og manglende godkjenningstrinn for mennesker
- Beskytt dataene bak modellen: gjennomgang av retrieval, vektorlagre og datapipelines, inkludert tilgangskontroll og veier for forgiftning av data
- Kontroller kontrollene rundt modellen: gjennomgang av autentisering, hastighetsbegrensning, håndtering av utdata og logging i applikasjonen rundt
- Forbered samtaler om EU AI Act: kartlegging av beredskap for systemklassifisering, dokumentasjon og hull i tilsyn, presentert som et beredskapsbilde for rådgiverne dine
Leveranser
- Typisk tidslinje
- Vanligvis 2–4 uker fra signert omfang, avhengig av antall AI-systemer og verktøy i omfanget, bekreftet i det skriftlige tilbudet ditt.
- Pris
- Tilbud med fast pris etter en gratis omfangssamtale.
Før vi starter
- +Godkjenning fra en leder som eier AI-systemet, som omfatter testmetodene og testkontoene
- +Et test- eller stagingmiljø, eller grenser for testing i produksjon
- +Testkontoer, API-tilgang og dokumentasjon av modellen, verktøyene, datakildene og systemprompter
- +Skriftlige regler for akseptabel bruk som dekker testing av skadelig innhold, datahåndtering og stoppkriterier
- +Varsler til modellleverandøren eller plattformen, der vilkårene deres krever det
- +Navngitte kontaktpersoner som er tilgjengelige i testperioden
Ikke inkludert (tilgjengelig separat)
- Juridisk rådgivning eller en formell avgjørelse om etterlevelse av EU AI Act, samsvarsvurdering eller sertifisering; vi gir deg beredskapsgrunnlaget rådgiverne dine trenger
- Opplæring eller ny opplæring av modeller, eller bygging av nye rekkverkssystemer, med mindre det tilbys separat
- Testing av tredjeparts modellleverandørers egen infrastruktur, og tjenestenektestinger som kan påvirke delt kapasitet eller produksjonskapasitet
- Generell web- og API-testing av vertsapplikasjonen: tilgjengelig som Penetrasjonstesting og Sikkerhetstesting av API-er
Hvordan det fungerer
Omfang og godkjenning
Testingen starter først med eierens skriftlige tillatelse og et signert omfang med avtalte stoppkriterier, slik at AI-systemet ditt i drift og brukerne dine forblir beskyttet. Vi bekrefter AI-systemet, testmiljøet, misbruksscenarioene og forbudte handlinger før noen testing.
Trusselmodellering
Vi kartlegger datakilder, verktøy, brukere og tillitsgrenser for å avgjøre hvilke angrepsveier som betyr mest for systemet ditt.
Adversariell testing
Vi kjører manuelle og automatiserte angrep mot systemet i omfanget og registrerer prompter, svar og bevis for hvert funn.
Rapportering
Vi leverer funnene, beskrivelsen av angrepsveiene, kontrollanbefalingene og beredskapskartet i en form teamene dine kan handle på.
Oppsummering og ny test
Vi går gjennom resultatene sammen med interessentene dine og, der du velger det, tester vi på nytt rettingene du har gjort.
Be først om en omfangsavklaring. Vi svarer innen 24 timer og bekrefter AI-systemet, integrasjoner, tillatelse og testvindu i et skriftlig tilbud. Arbeidet starter når det skriftlige omfanget er bekreftet.
Omfang og pristilbud
Endelig omfang og tilbud avhenger av AI-systemet, integrasjonene og testvinduet ditt.
Hvorfor BilgeQor
- Hvert funn kommer med prompter for reproduksjon og bevis, og en beskrivelse av angrepsveiene viser hvordan problemer kombineres i applikasjonen din.
- Beredskapskartet for EU AI Act gir rådgiverne dine et strukturert bilde av klassifisering, dokumentasjon og hull i tilsyn.
- AI-systemet, testmiljøet og stoppkriteriene fastsettes først i et skriftlig omfang; testerne jobber eksternt, koordinert fra Istanbul, Jakarta og London.
Ofte stilte spørsmål
Tilknyttede tjenester
Sikkerhetsvurdering av OT, ICS og IoT
Sikkerhetsvurdering av industrielle kontrollsystemer, nettverk for operasjonell teknologi og tilkoblede enheter med sikkerhet først, planlagt sammen med ingeniørene dine.
Test API-ene dine for tilgangsfeil
Autorisert testing av REST-, GraphQL- og mobil-backend-API-ene dine for mangelfull autorisasjon, injeksjon og feil i forretningslogikk, med en tydelig liste over rettinger.
Stresstest AI-applikasjonen din
Beskriv AI-systemet og verktøyene det bruker; et tilbud med fast pris kommer tilbake skriftlig.
Hva skjer etter at du har sendt inn
- Vi går gjennom forespørselen din
- Samtale om omfang
- Skriftlig tilbud
Vi svarer innen 24 timer.
