Red teaming de IA e avaliação de segurança de LLMs
Veja como a sua aplicação de IA se comporta sob testes adversariais, com achados com evidências sobre prompt injection, vazamento de dados e uso indevido e uma lista priorizada de correções.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstambul, Turquia
- BilgeQor LtdLondres, Reino Unido
- PT BILGEQOR INTELLIGENT SYSTEMSJacarta, Indonésia
Red teaming de IA é adequado?
Ideal para
- ✓Equipes prestes a lançar ou ampliar um chatbot, copilot, busca com geração aumentada por recuperação (RAG) ou agente de IA com acesso a dados ou ferramentas da empresa
- ✓Responsáveis de produto e de segurança que precisam responder com evidências a perguntas de clientes ou do conselho sobre o risco de IA
- ✓Organizações que se preparam para as obrigações do EU AI Act e querem saber em que ponto os seus sistemas estão
- ✓Equipes de engenharia cujos modelos chamam ferramentas, navegam na web ou agem sobre documentos fornecidos por terceiros
Outro serviço é mais adequado se
- –Você quer a sua aplicação web e as suas APIs testadas: os serviços Penetration Testing e Testes de segurança de APIs cobrem isso
- –Você quer uma revisão do desenho de integração de um agente de IA: o serviço Revisão de segurança de LLMs e agentes de IA cobre isso
- –Você quer um adversário humano simulado contra a sua organização: o serviço Red Team Exercise cobre isso
O que avaliamos
- Saiba se instruções ocultas podem sequestrar a sua IA: testes de prompt injection direto e indireto, incluindo instruções ocultas em documentos, páginas web, e-mails e saídas de ferramentas
- Mantenha os dados sensíveis dentro de casa: testes de vazamento que cobrem prompts de sistema, documentos recuperados, dados de treinamento ou de fine-tuning e dados de outros usuários
- Veja como a sua política se sustenta: testes de uso indevido em relação à política que você definiu, abrangendo jailbreaks, contorno de bloqueio de conteúdo nocivo e abuso de funções permitidas
- Limite o que um agente pode fazer: revisão de agentes e do uso de ferramentas quanto a permissões excessivas, ações inseguras, plugins inseguros e etapas de aprovação humana ausentes
- Proteja os dados por trás do modelo: revisão de recuperação, armazenamento vetorial e pipeline de dados, incluindo controle de acesso e caminhos de envenenamento
- Verifique os controles em torno do modelo: revisão de autenticação, limitação de taxa, tratamento de saídas e logging na aplicação ao redor
- Prepare-se para as conversas sobre o EU AI Act: mapeamento de prontidão das lacunas de classificação do sistema, documentação e supervisão, apresentado como uma visão de prontidão para os seus consultores
Entregáveis
- Cronograma típico
- Normalmente de 2–4 semanas a partir do escopo assinado, dependendo do número de sistemas de IA e de ferramentas no escopo, conforme confirmado na sua proposta por escrito.
- Preços
- Proposta com preço fixo após uma conversa gratuita de definição de escopo.
Antes de começarmos
- +Aprovação de um executivo responsável pelo sistema de IA, abrangendo os métodos de teste e as contas de teste
- +Um ambiente de teste ou de homologação, ou limites para testes em produção
- +Contas de teste, acesso à API e documentação do modelo, das ferramentas, das fontes de dados e dos prompts de sistema
- +Regras de uso aceitável por escrito, abrangendo testes de conteúdo nocivo, tratamento de dados e condições de interrupção
- +Notificações ao provedor do modelo ou da plataforma, quando os termos deles as exigirem
- +Contatos nomeados disponíveis durante a janela de testes
Não incluído (disponível separadamente)
- Aconselhamento jurídico ou determinação formal de conformidade com o EU AI Act, avaliação de conformidade ou certificação; fornecemos as evidências de prontidão de que os seus consultores precisam
- Treinamento ou retreinamento de modelos, ou construção de novos sistemas de guardrails, salvo se cotados separadamente
- Testes da infraestrutura própria de provedores de modelos terceiros e testes de negação de serviço que possam afetar a capacidade compartilhada ou de produção
- Testes gerais web e de API da aplicação hospedeira: disponíveis como Penetration Testing e Testes de segurança de APIs
Como Funciona
Escopo e aprovação
Os testes só começam com a permissão por escrito do responsável e com um escopo assinado, com condições de interrupção acordadas, para que o seu sistema de IA em produção e os seus usuários continuem protegidos. Confirmamos o sistema de IA, o ambiente de teste, os cenários de abuso e as ações proibidas antes de qualquer teste.
Modelagem de ameaças
Mapeamos fontes de dados, ferramentas, usuários e limites de confiança para decidir quais caminhos de ataque mais importam para o seu sistema.
Testes adversariais
Executamos ataques manuais e automatizados contra o sistema no escopo, registrando prompts, respostas e evidências de cada achado.
Relatório
Entregamos os achados, a narrativa do caminho de ataque, as recomendações de controles e o mapa de prontidão de uma forma em que as suas equipes possam agir.
Debriefing e reteste
Apresentamos os resultados às suas partes interessadas e, se você optar por isso, testamos novamente as correções que você fez.
Solicite primeiro o escopo. Respondemos em até 24 horas e confirmamos, em uma proposta por escrito, o sistema de IA, as integrações, a autorização e a janela de testes. O trabalho começa assim que o escopo por escrito é confirmado.
Escopo e Cotação
O escopo final e a cotação dependem do seu sistema de IA, das integrações e da janela de testes.
Por que a BilgeQor
- Cada achado vem com prompts de reprodução e evidências, e uma narrativa do caminho de ataque mostra como os problemas se combinam na sua aplicação.
- O mapa de prontidão para o EU AI Act oferece aos seus consultores uma visão estruturada das lacunas de classificação, documentação e supervisão.
- O sistema de IA, o ambiente de teste e as condições de interrupção são definidos primeiro em um escopo por escrito; os testadores trabalham remotamente, com coordenação a partir de Istambul, Jacarta e Londres.
Perguntas Frequentes
Serviços Relacionados
Avaliação de segurança de OT, ICS e IoT
Avaliação de segurança de sistemas de controle industrial, redes de tecnologia operacional e dispositivos conectados, com a segurança em primeiro lugar e planejada junto com os seus engenheiros.
Teste as suas APIs em busca de falhas de acesso
Testes autorizados das suas APIs REST, GraphQL e de back-end mobile em busca de falhas de autorização, injeção e lógica de negócio, com uma lista clara de correções.
Submeta a sua aplicação de IA a um teste de estresse
Descreva o seu sistema de IA e as suas ferramentas; uma proposta com preço fixo retorna por escrito.
O que acontece depois de enviar
- Analisamos seu pedido
- Conversa sobre o escopo
- Proposta por escrito
Respondemos no prazo de 24 horas.
