AI Red Teaming og LLM-sikkerhedsvurdering
Se, hvordan jeres AI-applikation opfører sig under adversarial test, med dokumenterede fund om prompt injection, datalækage og misbrug samt en prioriteret liste over rettelser.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Tyrkiet
- BilgeQor LtdLondon, Det Forenede Kongerige
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesien
Er AI Red Teaming det rigtige valg?
Bedst egnet til
- ✓Teams, der er ved at lancere eller udvide en chatbot, copilot, retrieval-augmented søgning eller AI-agent med adgang til virksomhedens data eller værktøjer
- ✓Produkt- og sikkerhedsansvarlige, der skal besvare kunders eller bestyrelsens spørgsmål om AI-risiko med dokumentation
- ✓Organisationer, der forbereder sig på forpligtelserne i EU's AI-forordning og vil vide, hvor deres systemer står
- ✓Udviklingsteams, hvis modeller kalder værktøjer, browser på nettet eller handler på dokumenter fra eksterne parter
En anden ydelse passer bedre, hvis
- –I ønsker jeres webapplikation og API'er testet: Penetrationstest og Test af API-sikkerhed dækker det
- –I ønsker en gennemgang af designet af en AI-agentintegration: Gennemgang af LLM- og AI-agentsikkerhed dækker det
- –I ønsker en menneskelig modstander simuleret mod jeres organisation: Red Team-øvelse dækker det
Hvad vi evaluerer
- Få at vide, om skjulte instruktioner kan kapre jeres AI: test af direkte og indirekte prompt injection, herunder instruktioner skjult i dokumenter, websider, e-mails og værktøjsoutput
- Hold følsomme data inden for rammerne: test for lækage af systemprompter, hentede dokumenter, trænings- eller finjusteringsdata og andre brugeres data
- Se, hvordan jeres politik holder: test for misbrug op mod den politik, I har fastsat, herunder jailbreaks, omgåelse af filtre for skadeligt indhold og misbrug af tilladte funktioner
- Begræns, hvad en agent kan gøre: gennemgang af agenter og værktøjsbrug med fokus på for vide rettigheder, usikre handlinger, usikre plugins og manglende menneskelig godkendelse
- Sikr dataene bag modellen: gennemgang af retrieval, vector store og datapipeline, herunder adgangskontrol og veje til datapåvirkning (poisoning)
- Kontrollér sikkerhedsforanstaltningerne omkring modellen: gennemgang af autentificering, ratebegrænsning, håndtering af output og logning i den omkringliggende applikation
- Forbered samtaler om EU's AI-forordning: kortlægning af parathed med hensyn til systemklassificering, dokumentation og huller i tilsynet, præsenteret som et overblik over paratheden til jeres rådgivere
Leverancer
- Typisk tidslinje
- Typisk 2–4 uger fra underskrevet scope, afhængigt af antallet af AI-systemer og værktøjer i scope, bekræftet i jeres skriftlige tilbud.
- Pris
- Tilbud til fast pris efter en gratis afklaringssamtale om scope.
Før vi går i gang
- +Godkendelse fra en direktionsansvarlig, der ejer AI-systemet, af testmetoder og testkonti
- +Et test- eller staging-miljø eller grænser for test i produktion
- +Testkonti, API-adgang og dokumentation af model, værktøjer, datakilder og systemprompter
- +Skriftlige regler for acceptabel brug, der dækker test med skadeligt indhold, databehandling og stopbetingelser
- +Underretning af modeludbyder eller platform, hvor deres vilkår kræver det
- +Navngivne kontaktpersoner, der er tilgængelige i testperioden
Ikke inkluderet (kan fås separat)
- Juridisk rådgivning eller en formel afgørelse om efterlevelse af EU's AI-forordning, overensstemmelsesvurdering eller certificering; vi leverer det parathedsgrundlag, jeres rådgivere har brug for
- Træning eller gentræning af modeller eller opbygning af nye guardrail-systemer, medmindre det tilbydes særskilt
- Test af tredjepartsmodeludbyderes egen infrastruktur samt denial-of-service-test, der kan påvirke delt kapacitet eller produktionskapacitet
- Generel web- og API-test af værtsapplikationen: tilgængelig som Penetrationstest og Test af API-sikkerhed
Sådan virker det
Scope og godkendelse
Testen starter først med ejerens skriftlige tilladelse og et underskrevet scope med aftalte stopbetingelser, så jeres live AI-system og dets brugere forbliver beskyttet. Inden testen bekræfter vi AI-systemet, testmiljøet, misbrugsscenarier og forbudte handlinger.
Trusselsmodellering
Vi kortlægger datakilder, værktøjer, brugere og tillidsgrænser for at afgøre, hvilke angrebsveje der betyder mest for jeres system.
Adversarial test
Vi gennemfører manuelle og automatiserede angreb mod systemet i scope og registrerer prompter, svar og dokumentation for hvert fund.
Rapportering
Vi leverer fund, beskrivelse af angrebsveje, anbefalinger til kontroller og parathedsoverblik i en form, jeres teams kan handle på.
Afsluttende gennemgang og gentest
Vi gennemgår resultaterne med jeres interessenter og gentester, hvis I vælger det, de rettelser, I har foretaget.
Anmod først om en afklaring af scope. Vi svarer inden for 24 timer og bekræfter AI-systemet, integrationer, tilladelse og testvindue i et skriftligt tilbud. Arbejdet begynder, når det skriftlige scope er bekræftet.
Omfang og tilbud
Det endelige scope og tilbuddet afhænger af jeres AI-system, integrationer og testvindue.
Hvorfor BilgeQor
- Hvert fund leveres med reproduktionsprompter og dokumentation, og en beskrivelse af angrebsveje viser, hvordan problemer kombineres i jeres applikation.
- Parathedsoverblikket til EU's AI-forordning giver jeres rådgivere et struktureret overblik over klassificering, dokumentation og huller i tilsynet.
- AI-systemet, testmiljøet og stopbetingelserne fastlægges først i et skriftligt scope; testerne arbejder eksternt og koordineres fra Istanbul, Jakarta og London.
Ofte stillede spørgsmål
Relaterede tjenester
Sikkerhedsvurdering af OT, ICS og IoT
Sikkerhedsvurdering af industrielle kontrolsystemer, netværk med operationel teknologi og forbundne enheder med sikkerhed først, planlagt sammen med jeres ingeniører.
Test jeres API'er for fejl i adgangskontrol
Test med tilladelse af jeres REST-, GraphQL- og mobil-backend-API'er for mangelfuld autorisation, injection og fejl i forretningslogikken, med en tydelig liste over rettelser.
Stresstest jeres AI-applikation
Beskriv jeres AI-system og dets værktøjer; et tilbud til fast pris kommer tilbage skriftligt.
Hvad sker der, når du har sendt
- Vi gennemgår din forespørgsel
- Samtale om omfang
- Skriftligt tilbud
Vi svarer inden for 24 timer.
