Pular para o conteúdo principal
BilgeQor

Red teaming de IA e avaliação de segurança de LLMs

Veja como a sua aplicação de IA se comporta sob testes adversariais, com achados com evidências sobre prompt injection, vazamento de dados e uso indevido e uma lista priorizada de correções.

Engajamento definido por escopo
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstambul, Turquia
  • BilgeQor LtdLondres, Reino Unido
  • PT BILGEQOR INTELLIGENT SYSTEMSJacarta, Indonésia
Respondemos no prazo de 24 horas.

Red teaming de IA é adequado?

Ideal para

  • ✓Equipes prestes a lançar ou ampliar um chatbot, copilot, busca com geração aumentada por recuperação (RAG) ou agente de IA com acesso a dados ou ferramentas da empresa
  • ✓Responsáveis de produto e de segurança que precisam responder com evidências a perguntas de clientes ou do conselho sobre o risco de IA
  • ✓Organizações que se preparam para as obrigações do EU AI Act e querem saber em que ponto os seus sistemas estão
  • ✓Equipes de engenharia cujos modelos chamam ferramentas, navegam na web ou agem sobre documentos fornecidos por terceiros

Outro serviço é mais adequado se

  • –Você quer a sua aplicação web e as suas APIs testadas: os serviços Penetration Testing e Testes de segurança de APIs cobrem isso
  • –Você quer uma revisão do desenho de integração de um agente de IA: o serviço Revisão de segurança de LLMs e agentes de IA cobre isso
  • –Você quer um adversário humano simulado contra a sua organização: o serviço Red Team Exercise cobre isso

O que avaliamos

  • Saiba se instruções ocultas podem sequestrar a sua IA: testes de prompt injection direto e indireto, incluindo instruções ocultas em documentos, páginas web, e-mails e saídas de ferramentas
  • Mantenha os dados sensíveis dentro de casa: testes de vazamento que cobrem prompts de sistema, documentos recuperados, dados de treinamento ou de fine-tuning e dados de outros usuários
  • Veja como a sua política se sustenta: testes de uso indevido em relação à política que você definiu, abrangendo jailbreaks, contorno de bloqueio de conteúdo nocivo e abuso de funções permitidas
  • Limite o que um agente pode fazer: revisão de agentes e do uso de ferramentas quanto a permissões excessivas, ações inseguras, plugins inseguros e etapas de aprovação humana ausentes
  • Proteja os dados por trás do modelo: revisão de recuperação, armazenamento vetorial e pipeline de dados, incluindo controle de acesso e caminhos de envenenamento
  • Verifique os controles em torno do modelo: revisão de autenticação, limitação de taxa, tratamento de saídas e logging na aplicação ao redor
  • Prepare-se para as conversas sobre o EU AI Act: mapeamento de prontidão das lacunas de classificação do sistema, documentação e supervisão, apresentado como uma visão de prontidão para os seus consultores

Entregáveis

Cronograma típico
Normalmente de 2–4 semanas a partir do escopo assinado, dependendo do número de sistemas de IA e de ferramentas no escopo, conforme confirmado na sua proposta por escrito.
Preços
Proposta com preço fixo após uma conversa gratuita de definição de escopo.
Um plano de testes e um resumo das regras de engajamento, para que todos saibam o que será testado e onde os testes param
Um registro de achados com severidade, prompts de reprodução, evidências e orientações de correção, para que a sua equipe possa reproduzir e corrigir cada problema
Uma narrativa do caminho de ataque mostrando como os problemas se combinam na sua aplicação, para que você veja o risco real para o negócio
Recomendações de guardrails e controles nas camadas de modelo, aplicação e dados
Um mapa de prontidão para o EU AI Act com as lacunas de documentação e de supervisão identificadas, pronto para entregar aos seus consultores
Um debriefing com as partes interessadas de produto, segurança e engenharia; o reteste das correções que você decidir fazer está disponível

Antes de começarmos

  • +Aprovação de um executivo responsável pelo sistema de IA, abrangendo os métodos de teste e as contas de teste
  • +Um ambiente de teste ou de homologação, ou limites para testes em produção
  • +Contas de teste, acesso à API e documentação do modelo, das ferramentas, das fontes de dados e dos prompts de sistema
  • +Regras de uso aceitável por escrito, abrangendo testes de conteúdo nocivo, tratamento de dados e condições de interrupção
  • +Notificações ao provedor do modelo ou da plataforma, quando os termos deles as exigirem
  • +Contatos nomeados disponíveis durante a janela de testes

Não incluído (disponível separadamente)

  • Aconselhamento jurídico ou determinação formal de conformidade com o EU AI Act, avaliação de conformidade ou certificação; fornecemos as evidências de prontidão de que os seus consultores precisam
  • Treinamento ou retreinamento de modelos, ou construção de novos sistemas de guardrails, salvo se cotados separadamente
  • Testes da infraestrutura própria de provedores de modelos terceiros e testes de negação de serviço que possam afetar a capacidade compartilhada ou de produção
  • Testes gerais web e de API da aplicação hospedeira: disponíveis como Penetration Testing e Testes de segurança de APIs

Como Funciona

1

Escopo e aprovação

Os testes só começam com a permissão por escrito do responsável e com um escopo assinado, com condições de interrupção acordadas, para que o seu sistema de IA em produção e os seus usuários continuem protegidos. Confirmamos o sistema de IA, o ambiente de teste, os cenários de abuso e as ações proibidas antes de qualquer teste.

2

Modelagem de ameaças

Mapeamos fontes de dados, ferramentas, usuários e limites de confiança para decidir quais caminhos de ataque mais importam para o seu sistema.

3

Testes adversariais

Executamos ataques manuais e automatizados contra o sistema no escopo, registrando prompts, respostas e evidências de cada achado.

4

Relatório

Entregamos os achados, a narrativa do caminho de ataque, as recomendações de controles e o mapa de prontidão de uma forma em que as suas equipes possam agir.

5

Debriefing e reteste

Apresentamos os resultados às suas partes interessadas e, se você optar por isso, testamos novamente as correções que você fez.

Solicite primeiro o escopo. Respondemos em até 24 horas e confirmamos, em uma proposta por escrito, o sistema de IA, as integrações, a autorização e a janela de testes. O trabalho começa assim que o escopo por escrito é confirmado.

Escopo e Cotação

O escopo final e a cotação dependem do seu sistema de IA, das integrações e da janela de testes.

Por que a BilgeQor

  • Cada achado vem com prompts de reprodução e evidências, e uma narrativa do caminho de ataque mostra como os problemas se combinam na sua aplicação.
  • O mapa de prontidão para o EU AI Act oferece aos seus consultores uma visão estruturada das lacunas de classificação, documentação e supervisão.
  • O sistema de IA, o ambiente de teste e as condições de interrupção são definidos primeiro em um escopo por escrito; os testadores trabalham remotamente, com coordenação a partir de Istambul, Jacarta e Londres.

Perguntas Frequentes

Serviços Relacionados

Avaliação de segurança de OT, ICS e IoT

Avaliação de segurança de sistemas de controle industrial, redes de tecnologia operacional e dispositivos conectados, com a segurança em primeiro lugar e planejada junto com os seus engenheiros.

Teste as suas APIs em busca de falhas de acesso

Testes autorizados das suas APIs REST, GraphQL e de back-end mobile em busca de falhas de autorização, injeção e lógica de negócio, com uma lista clara de correções.

Submeta a sua aplicação de IA a um teste de estresse

Descreva o seu sistema de IA e as suas ferramentas; uma proposta com preço fixo retorna por escrito.

O que acontece depois de enviar

  1. Analisamos seu pedido
  2. Conversa sobre o escopo
  3. Proposta por escrito

Respondemos no prazo de 24 horas.