Ir ao contido principal
BilgeQor

Red teaming de IA e avaliación da seguridade de LLM

Vexa como se comporta a súa aplicación de IA baixo probas adversarias, con achados documentados sobre inxección de prompts, fuga de datos e uso indebido, e unha lista de correccións priorizada.

Encargo definido polo ámbito
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
  • BilgeQor LtdLondres, Reino Unido
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Respondémoslle nun prazo de 24 horas.

Is Red teaming de IA o right fit?

Ideal para

  • ✓Equipos que van lanzar ou ampliar un chatbot, copiloto, busca con xeración aumentada por recuperación ou axente de IA con acceso a datos ou ferramentas da empresa
  • ✓Responsables de produto e de seguridade que deben responder con evidencias ás preguntas de clientes ou do consello sobre o risco da IA
  • ✓Organizacións que se preparan para as obrigas da Lei de IA da UE e queren saber en que punto están os seus sistemas
  • ✓Equipos de enxeñaría cuxos modelos invocan ferramentas, navegan pola web ou actúan sobre documentos achegados por terceiros

Outro servizo encaixa mellor se

  • –Quere que se proben a súa aplicación web e as súas API: Probas de intrusión e Probas de seguridade de API abordan iso
  • –Quere unha revisión do deseño da integración dun axente de IA: Revisión da seguridade de LLM e axentes de IA aborda iso
  • –Quere que se simule un adversario humano contra a súa organización: Exercicio de Red Team aborda iso

O que avaliamos

  • Saber se unhas instrucións ocultas poden secuestrar a súa IA: probas de inxección de prompts directa e indirecta, incluídas as instrucións agochadas en documentos, páxinas web, correos electrónicos e saídas de ferramentas
  • Manter os datos sensibles dentro: probas de fuga que abarcan os prompts do sistema, os documentos recuperados, os datos de adestramento ou axuste fino e os datos doutros usuarios
  • Ver como resiste a súa política: probas de uso indebido fronte á política que vostede defina, con jailbreaks, elusión de filtros de contido daniño e abuso de funcións permitidas
  • Limitar o que pode facer un axente: revisión do axente e do uso de ferramentas para detectar permisos excesivos, accións inseguras, complementos inseguros e a falta de pasos de aprobación humana
  • Protexer os datos que hai detrás do modelo: revisión da recuperación, do almacén vectorial e do fluxo de datos, incluídos o control de acceso e as vías de contaminación
  • Comprobar os controis que rodean o modelo: revisión da autenticación, da limitación de taxa, do tratamento das saídas e do rexistro na aplicación circundante
  • Preparar as conversas sobre a Lei de IA da UE: mapa de preparación das lagoas de clasificación do sistema, documentación e supervisión, presentado como vista de preparación para os seus asesores

Entregables

Prazo habitual
Normalmente de 2 a 4 semanas desde o alcance asinado, segundo o número de sistemas de IA e ferramentas incluídos, confirmado na súa proposta por escrito.
Prezos
Proposta de prezo pechado tras unha chamada de definición do alcance gratuíta.
Un plan de probas e un resumo das regras de compromiso, para que todos saiban que se vai probar e onde se detén a proba
Un rexistro de achados con gravidade, prompts de reprodución, evidencias e orientación para a corrección, para que o seu equipo poida reproducir e resolver cada problema
Unha narración das vías de ataque que mostra como se combinan os problemas na súa aplicación, para que vexa o risco real para o negocio
Recomendacións de barreiras de protección e controis nas capas de modelo, aplicación e datos
Un mapa de preparación para a Lei de IA da UE coas lagoas de documentación e supervisión identificadas, listo para entregar aos seus asesores
Unha sesión de resultados con responsables de produto, seguridade e enxeñaría; ofrécese unha nova proba das correccións que decida aplicar

Antes de comezar

  • +A aprobación dun directivo responsable do sistema de IA, que cubra os métodos de proba e as contas de proba
  • +Un contorno de proba ou preprodución, ou límites para probar en produción
  • +Contas de proba, acceso á API e documentación do modelo, das ferramentas, das fontes de datos e dos prompts do sistema
  • +Regras de uso aceptable por escrito que cubran as probas de contido daniño, o tratamento de datos e as condicións de parada
  • +Notificacións ao provedor do modelo ou da plataforma, cando os seus termos as esixan
  • +Persoas de contacto designadas durante o período de probas

Non incluído (dispoñible por separado)

  • Asesoramento xurídico ou unha determinación formal de cumprimento da Lei de IA da UE, avaliación de conformidade ou certificación; nós entregámoslle as evidencias de preparación que necesitan os seus asesores
  • O adestramento ou readestramento de modelos, ou a creación de novos sistemas de barreiras de protección, salvo orzamento á parte
  • As probas da infraestrutura propia dos provedores de modelos de terceiros, e as probas de denegación de servizo que poidan afectar a capacidade compartida ou de produción
  • As probas xerais web e de API da aplicación anfitrioa: dispoñibles como Probas de intrusión e Probas de seguridade de API

Como funciona

1

Definición do alcance e aprobación

As probas só comezan co permiso por escrito da persoa propietaria e cun alcance asinado con condicións de parada acordadas, para que o seu sistema de IA en produción e os seus usuarios queden protexidos. Antes de calquera proba, confirmamos o sistema de IA, o contorno de proba, os escenarios de abuso e as accións prohibidas.

2

Modelado de ameazas

Mapeamos as fontes de datos, as ferramentas, os usuarios e os límites de confianza para decidir que vías de ataque son máis relevantes para o seu sistema.

3

Probas adversarias

Executamos ataques manuais e automatizados contra o sistema incluído no alcance, rexistrando os prompts, as respostas e as evidencias de cada achado.

4

Informe

Entregamos os achados, a narración das vías de ataque, as recomendacións de control e o mapa de preparación nun formato sobre o que os seus equipos poidan actuar.

5

Presentación de resultados e nova proba

Explicamos os resultados aos seus interesados e, se vostede o decide, probamos de novo as correccións que realizase.

Solicite primeiro o alcance. Respondemos nun prazo de 24 horas e confirmamos nunha proposta por escrito o sistema de IA, as integracións, a autorización e a xanela de probas. O traballo comeza cando se confirma o alcance por escrito.

Ámbito de aplicación e cotización

O alcance definitivo e o orzamento dependen do seu sistema de IA, das integracións e da xanela de probas.

Por que BilgeQor

  • Cada achado vén con prompts de reprodución e evidencias, e unha narración das vías de ataque mostra como se combinan os problemas na súa aplicación.
  • O mapa de preparación para a Lei de IA da UE ofrece aos seus asesores unha vista estruturada das lagoas de clasificación, documentación e supervisión.
  • O sistema de IA, o contorno de proba e as condicións de parada fíxanse primeiro nun alcance por escrito; as persoas probadoras traballan en remoto, coordinadas desde Istanbul, Xacarta e Londres.

Preguntas frecuentes

Servizos relacionados

Avaliación de seguridade OT, ICS e IoT

Avaliación de seguridade de sistemas de control industrial, redes de tecnoloxía operacional e dispositivos conectados, con prioridade na seguridade operacional (safety) e planificada cos seus enxeñeiros.

Probe as súas API fronte a fallos de acceso

Probas autorizadas das súas API REST, GraphQL e de backend móbil en busca de autorización defectuosa, inxección e fallos de lóxica de negocio, cunha lista clara de correccións.

Poña á proba a súa aplicación de IA

Describa o seu sistema de IA e as súas ferramentas; recibirá por escrito unha proposta de prezo pechado.

Que ocorre despois de enviar a súa solicitude

  1. Revisamos a súa solicitude
  2. Conversa sobre o alcance
  3. Proposta por escrito

Respondémoslle nun prazo de 24 horas.