Red teaming d’IA i avaluació de la seguretat de LLM
Vegeu com es comporta la vostra aplicació d’IA sota proves adversarials, amb troballes avalades per evidències sobre injecció de prompts, fuita de dades i ús indegut, i una llista de correccions prioritzada.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLondres, Regne Unit
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Is Red teaming d’IA el right fit?
Ideal per a
- ✓Equips a punt de llançar o ampliar un xatbot, un copilot, una cerca amb generació augmentada per recuperació o un agent d’IA amb accés a dades o eines de l’empresa
- ✓Responsables de producte i de seguretat que han de respondre amb evidències a les preguntes de clients o del consell d’administració sobre el risc de la IA
- ✓Organitzacions que es preparen per a les obligacions de l’EU AI Act i volen saber en quin punt es troben els seus sistemes
- ✓Equips d’enginyeria els models dels quals criden eines, naveguen per la web o actuen sobre documents proporcionats per tercers
Un altre servei s’ajusta millor si
- –Voleu que es provin la vostra aplicació web i les vostres API: Proves de penetració i Proves de seguretat d’API ho cobreixen
- –Voleu una revisió del disseny d’una integració d’agents d’IA: Revisió de seguretat de LLM i agents d’IA ho cobreix
- –Voleu que se simuli un adversari humà contra la vostra organització: Exercici de red team ho cobreix
El que valorem
- Sabeu si unes instruccions amagades poden segrestar la vostra IA: proves d’injecció de prompts directa i indirecta, incloses instruccions amagades en documents, pàgines web, correus electrònics i sortides d’eines
- Mantingueu les dades sensibles dins de casa: proves de fuita que cobreixen els prompts del sistema, els documents recuperats, les dades d’entrenament o d’ajust fi i les dades d’altres usuaris
- Vegeu com resisteix la vostra política: proves d’ús indegut contra la política que heu definit, amb jailbreaks, elusió de filtres de contingut nociu i abús de funcions permeses
- Limiteu què pot fer un agent: revisió de l’agent i de l’ús d’eines per detectar permisos excessius, accions insegures, connectors insegurs i passos d’aprovació humana que falten
- Protegiu les dades que hi ha darrere del model: revisió de la recuperació, de l’emmagatzematge vectorial i del flux de dades, incloent-hi el control d’accés i les vies d’enverinament
- Comproveu els controls que envolten el model: revisió de l’autenticació, la limitació de peticions, el tractament de les sortides i el registre a l’aplicació circumdant
- Prepareu les converses sobre l’EU AI Act: mapa de preparació de la classificació del sistema i de les llacunes de documentació i supervisió, presentat com una visió de preparació per als vostres assessors
Lliurables
- Termini habitual
- Normalment entre 2 i 4 setmanes des de l’abast signat, segons el nombre de sistemes d’IA i d’eines inclosos, tal com es confirma a la vostra proposta per escrit.
- Preus
- Proposta amb tarifa fixa després d’una trucada gratuïta de definició de l’abast.
Abans de començar
- +Aprovació d’un directiu responsable del sistema d’IA, que abasti els mètodes de prova i els comptes de prova
- +Un entorn de prova o de preproducció, o límits per fer proves en producció
- +Comptes de prova, accés a l’API i documentació del model, de les eines, de les fonts de dades i dels prompts del sistema
- +Normes d’ús acceptable per escrit que cobreixin les proves de contingut nociu, el tractament de dades i les condicions d’aturada
- +Notificacions al proveïdor del model o de la plataforma, quan els seus termes ho exigeixin
- +Persones de contacte designades disponibles durant la finestra de proves
No inclòs (disponible per separat)
- Assessorament jurídic o una determinació formal de compliment de l’EU AI Act, avaluació de conformitat o certificació; us donem les evidències de preparació que necessiten els vostres assessors
- Entrenar o reentrenar models, o construir nous sistemes de guardrails, tret que es pressuposti per separat
- Proves de la infraestructura pròpia dels proveïdors de models de tercers, i proves de denegació de servei que puguin afectar la capacitat compartida o de producció
- Proves generals web i d’API de l’aplicació amfitriona: disponibles com a Proves de penetració i Proves de seguretat d’API
Com funciona
Abast i aprovació
Les proves només comencen amb el permís per escrit del propietari i un abast signat amb condicions d’aturada acordades, de manera que el vostre sistema d’IA en producció i els seus usuaris quedin protegits. Abans de qualsevol prova confirmem el sistema d’IA, l’entorn de prova, els escenaris d’abús i les accions prohibides.
Modelatge d’amenaces
Cartografiem les fonts de dades, les eines, els usuaris i els límits de confiança per decidir quines vies d’atac són més importants per al vostre sistema.
Proves adversarials
Executem atacs manuals i automatitzats contra el sistema inclòs a l’abast, i registrem els prompts, les respostes i les evidències de cada troballa.
Informe
Lliurem les troballes, la narrativa de la via d’atac, les recomanacions de controls i el mapa de preparació en un format sobre el qual els vostres equips poden actuar.
Sessió de resultats i reavaluació
Repassem els resultats amb les vostres parts interessades i, si ho decidiu, tornem a provar les correccions que heu fet.
Sol·liciteu primer l’abast. Responem en 24 hores i confirmem el sistema d’IA, les integracions, l’autorització i la finestra de proves en una proposta escrita. Els treballs comencen quan es confirma l’abast escrit.
Àmbit i cotització
L’abast final i el pressupost depenen del vostre sistema d’IA, les integracions i la finestra de proves.
Per què BilgeQor
- Cada troballa inclou prompts de reproducció i evidències, i una narrativa de la via d’atac mostra com es combinen els problemes a la vostra aplicació.
- El mapa de preparació per a l’EU AI Act dona als vostres assessors una visió estructurada de la classificació i de les llacunes de documentació i supervisió.
- El sistema d’IA, l’entorn de prova i les condicions d’aturada es fixen primer en un abast per escrit; els auditors treballen en remot, coordinats des d’Istanbul, Jakarta i Londres.
Preguntes freqüents
Serveis relacionats
Avaluació de seguretat OT, ICS i IoT
Avaluació de seguretat de sistemes de control industrial, xarxes de tecnologia operativa i dispositius connectats, amb la seguretat física com a prioritat i planificada amb els vostres enginyers.
Proveu les vostres API per detectar errors d’accés
Proves autoritzades de les vostres API REST, GraphQL i de backend mòbil per detectar autorització trencada, injecció i errors de lògica de negoci, amb una llista clara de correccions.
Indústries
Poseu a prova la vostra aplicació d’IA
Descriviu el vostre sistema d’IA i les seves eines; us enviarem per escrit una proposta amb tarifa fixa.
Què passa després d'enviar la seva sol·licitud
- Revisem la seva sol·licitud
- Conversa sobre l'abast
- Proposta per escrit
Li responem en un termini de 24 hores.
