Ves al contingut principal
BilgeQor

Red teaming d’IA i avaluació de la seguretat de LLM

Vegeu com es comporta la vostra aplicació d’IA sota proves adversarials, amb troballes avalades per evidències sobre injecció de prompts, fuita de dades i ús indegut, i una llista de correccions prioritzada.

Encàrrec definit per l'àmbit
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
  • BilgeQor LtdLondres, Regne Unit
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Li responem en un termini de 24 hores.

Is Red teaming d’IA el right fit?

Ideal per a

  • ✓Equips a punt de llançar o ampliar un xatbot, un copilot, una cerca amb generació augmentada per recuperació o un agent d’IA amb accés a dades o eines de l’empresa
  • ✓Responsables de producte i de seguretat que han de respondre amb evidències a les preguntes de clients o del consell d’administració sobre el risc de la IA
  • ✓Organitzacions que es preparen per a les obligacions de l’EU AI Act i volen saber en quin punt es troben els seus sistemes
  • ✓Equips d’enginyeria els models dels quals criden eines, naveguen per la web o actuen sobre documents proporcionats per tercers

Un altre servei s’ajusta millor si

  • –Voleu que es provin la vostra aplicació web i les vostres API: Proves de penetració i Proves de seguretat d’API ho cobreixen
  • –Voleu una revisió del disseny d’una integració d’agents d’IA: Revisió de seguretat de LLM i agents d’IA ho cobreix
  • –Voleu que se simuli un adversari humà contra la vostra organització: Exercici de red team ho cobreix

El que valorem

  • Sabeu si unes instruccions amagades poden segrestar la vostra IA: proves d’injecció de prompts directa i indirecta, incloses instruccions amagades en documents, pàgines web, correus electrònics i sortides d’eines
  • Mantingueu les dades sensibles dins de casa: proves de fuita que cobreixen els prompts del sistema, els documents recuperats, les dades d’entrenament o d’ajust fi i les dades d’altres usuaris
  • Vegeu com resisteix la vostra política: proves d’ús indegut contra la política que heu definit, amb jailbreaks, elusió de filtres de contingut nociu i abús de funcions permeses
  • Limiteu què pot fer un agent: revisió de l’agent i de l’ús d’eines per detectar permisos excessius, accions insegures, connectors insegurs i passos d’aprovació humana que falten
  • Protegiu les dades que hi ha darrere del model: revisió de la recuperació, de l’emmagatzematge vectorial i del flux de dades, incloent-hi el control d’accés i les vies d’enverinament
  • Comproveu els controls que envolten el model: revisió de l’autenticació, la limitació de peticions, el tractament de les sortides i el registre a l’aplicació circumdant
  • Prepareu les converses sobre l’EU AI Act: mapa de preparació de la classificació del sistema i de les llacunes de documentació i supervisió, presentat com una visió de preparació per als vostres assessors

Lliurables

Termini habitual
Normalment entre 2 i 4 setmanes des de l’abast signat, segons el nombre de sistemes d’IA i d’eines inclosos, tal com es confirma a la vostra proposta per escrit.
Preus
Proposta amb tarifa fixa després d’una trucada gratuïta de definició de l’abast.
Un pla de proves i un resum de les regles de participació, perquè tothom sàpiga què es provarà i on s’aturen les proves
Un registre de troballes amb gravetat, prompts de reproducció, evidències i orientació de remediació, perquè el vostre equip pugui reproduir i corregir cada problema
Una narrativa de la via d’atac que mostri com es combinen els problemes a la vostra aplicació, perquè pugueu veure el risc real per al negoci
Recomanacions de guardrails i de controls a les capes de model, aplicació i dades
Un mapa de preparació per a l’EU AI Act amb les llacunes de documentació i supervisió identificades, a punt per lliurar-lo als vostres assessors
Una sessió de resultats amb les parts interessades de producte, seguretat i enginyeria; es pot fer una reavaluació de les correccions que decidiu aplicar

Abans de començar

  • +Aprovació d’un directiu responsable del sistema d’IA, que abasti els mètodes de prova i els comptes de prova
  • +Un entorn de prova o de preproducció, o límits per fer proves en producció
  • +Comptes de prova, accés a l’API i documentació del model, de les eines, de les fonts de dades i dels prompts del sistema
  • +Normes d’ús acceptable per escrit que cobreixin les proves de contingut nociu, el tractament de dades i les condicions d’aturada
  • +Notificacions al proveïdor del model o de la plataforma, quan els seus termes ho exigeixin
  • +Persones de contacte designades disponibles durant la finestra de proves

No inclòs (disponible per separat)

  • Assessorament jurídic o una determinació formal de compliment de l’EU AI Act, avaluació de conformitat o certificació; us donem les evidències de preparació que necessiten els vostres assessors
  • Entrenar o reentrenar models, o construir nous sistemes de guardrails, tret que es pressuposti per separat
  • Proves de la infraestructura pròpia dels proveïdors de models de tercers, i proves de denegació de servei que puguin afectar la capacitat compartida o de producció
  • Proves generals web i d’API de l’aplicació amfitriona: disponibles com a Proves de penetració i Proves de seguretat d’API

Com funciona

1

Abast i aprovació

Les proves només comencen amb el permís per escrit del propietari i un abast signat amb condicions d’aturada acordades, de manera que el vostre sistema d’IA en producció i els seus usuaris quedin protegits. Abans de qualsevol prova confirmem el sistema d’IA, l’entorn de prova, els escenaris d’abús i les accions prohibides.

2

Modelatge d’amenaces

Cartografiem les fonts de dades, les eines, els usuaris i els límits de confiança per decidir quines vies d’atac són més importants per al vostre sistema.

3

Proves adversarials

Executem atacs manuals i automatitzats contra el sistema inclòs a l’abast, i registrem els prompts, les respostes i les evidències de cada troballa.

4

Informe

Lliurem les troballes, la narrativa de la via d’atac, les recomanacions de controls i el mapa de preparació en un format sobre el qual els vostres equips poden actuar.

5

Sessió de resultats i reavaluació

Repassem els resultats amb les vostres parts interessades i, si ho decidiu, tornem a provar les correccions que heu fet.

Sol·liciteu primer l’abast. Responem en 24 hores i confirmem el sistema d’IA, les integracions, l’autorització i la finestra de proves en una proposta escrita. Els treballs comencen quan es confirma l’abast escrit.

Àmbit i cotització

L’abast final i el pressupost depenen del vostre sistema d’IA, les integracions i la finestra de proves.

Per què BilgeQor

  • Cada troballa inclou prompts de reproducció i evidències, i una narrativa de la via d’atac mostra com es combinen els problemes a la vostra aplicació.
  • El mapa de preparació per a l’EU AI Act dona als vostres assessors una visió estructurada de la classificació i de les llacunes de documentació i supervisió.
  • El sistema d’IA, l’entorn de prova i les condicions d’aturada es fixen primer en un abast per escrit; els auditors treballen en remot, coordinats des d’Istanbul, Jakarta i Londres.

Preguntes freqüents

Serveis relacionats

Avaluació de seguretat OT, ICS i IoT

Avaluació de seguretat de sistemes de control industrial, xarxes de tecnologia operativa i dispositius connectats, amb la seguretat física com a prioritat i planificada amb els vostres enginyers.

Proveu les vostres API per detectar errors d’accés

Proves autoritzades de les vostres API REST, GraphQL i de backend mòbil per detectar autorització trencada, injecció i errors de lògica de negoci, amb una llista clara de correccions.

Poseu a prova la vostra aplicació d’IA

Descriviu el vostre sistema d’IA i les seves eines; us enviarem per escrit una proposta amb tarifa fixa.

Què passa després d'enviar la seva sol·licitud

  1. Revisem la seva sol·licitud
  2. Conversa sobre l'abast
  3. Proposta per escrit

Li responem en un termini de 24 hores.