Agentes de IA: prompt injection e uso indevido de ferramentas

Os agentes de IA estão deixando de apenas responder perguntas para executar ações: ler caixas de entrada, consultar bancos de dados, atualizar chamados, enviar mensagens e chamar APIs. Essa mudança altera o cenário de segurança. Um modelo que apenas produz texto pode induzir ao erro; um agente com ferramentas pode agir com base nesse texto. A prompt injection, em que instruções ocultas no conteúdo direcionam o modelo, é o risco mais discutido, mas é apenas um entre vários. Este guia explica os principais riscos em termos simples e os controles que os reduzem.

O que é

Os grandes modelos de linguagem não distinguem de forma confiável entre as instruções de quem os opera e as instruções embutidas nos dados que processam. A prompt injection direta acontece quando um usuário digita instruções projetadas para sobrepor as regras do sistema. A prompt injection indireta acontece quando o modelo lê conteúdo externo, como uma página web, um e-mail, um documento ou um chamado de suporte, que contém instruções ocultas, por exemplo para revelar dados ou chamar uma ferramenta. Outros riscos agravam esse cenário. Informações sensíveis podem vazar quando o modelo tem acesso a dados que o usuário não deveria ver. A agência excessiva surge quando um agente tem permissões amplas sobre ferramentas, como a capacidade de enviar e-mails ou excluir registros, sem confirmação. O tratamento inadequado de saídas ocorre quando a saída do modelo é passada diretamente para código, consultas ou páginas web sem validação. Os riscos da cadeia de suprimentos vêm de modelos, plugins e conectores de terceiros. O OWASP Top 10 for LLM Applications (edição 2025) cataloga essas e outras categorias relacionadas, como o vazamento do prompt de sistema e o consumo ilimitado, e o OWASP GenAI Security Project também publica orientações específicas para aplicações agênticas. Como nenhuma técnica atual impede totalmente a prompt injection, o design deve partir do princípio de que algumas instruções injetadas terão sucesso e limitar o que elas podem fazer.

Para Quem É

Este guia é relevante para:

Equipes que constroem agentes que usam ferramentas, APIs ou dados da empresa
Empresas que disponibilizam assistentes de IA para clientes ou colaboradores
Líderes de segurança e de risco que precisam aprovar uma funcionalidade de IA
Responsáveis por produtos que integram plataformas ou conectores de IA de terceiros

O Que Isso Ajuda A Esclarecer

Analisar esses riscos ajuda a esclarecer:

Quais dados o agente pode ler e se todos os usuários têm direito de acesso a eles
Quais ações o agente pode executar e quais exigem confirmação humana
Como conteúdos não confiáveis chegam ao modelo e o que podem influenciar
Para onde a saída do modelo vai em seguida e se ela é validada

O que está incluído

Faça um inventário de todas as ferramentas, conectores e fontes de dados que o agente pode acessar
Aplique o menor privilégio: dê a cada ferramenta a permissão mais restrita e limite-a ao usuário atual
Exija confirmação humana para ações que enviam, excluem, pagam, publicam ou alteram permissões
Trate conteúdos recuperados, e-mails, arquivos e páginas web como entradas não confiáveis
Separe as instruções do sistema do conteúdo do usuário e do conteúdo recuperado da forma mais clara que a plataforma permitir
Valide e codifique a saída do modelo antes que ela chegue a código, consultas ou páginas web
Aplique o controle de acesso na camada de dados, não no prompt
Defina limites de taxa, de custo e de número de ações por sessão
Registre prompts, chamadas de ferramentas e resultados com salvaguardas de privacidade adequadas e revise esses registros
Teste com entradas adversariais, incluindo injeção indireta por meio de documentos e links
Defina uma forma de desativar rapidamente uma ferramenta ou o agente se for detectado uso indevido

O que não está incluído

Afirmação de que a prompt injection pode ser totalmente evitada
Certificação ou aprovação regulatória de um sistema de IA
Consultoria jurídica sobre regulamentação de IA
Monitoramento contínuo de agentes em produção, salvo acordo separado

Quando Escolher

Trate esses riscos antes de conectar um agente a ferramentas ou dados reais e novamente sempre que forem adicionadas novas ferramentas, fontes de dados ou grupos de usuários. Um agente que era seguro como protótipo interno somente leitura pode deixar de ser seguro quando passa a poder enviar e-mails a clientes. Se um fornecedor oferece a plataforma do agente, pergunte como ela trata permissões de ferramentas, etapas de confirmação, registros em log e isolamento de dados.

Nossa abordagem

Projete visando à contenção, e não à prevenção perfeita. Pergunte qual seria o pior resultado realista se uma instrução injetada tivesse sucesso e, em seguida, reduza as permissões e adicione etapas de confirmação até que esse resultado seja aceitável. Mantenha as decisões de autorização em código determinístico, fora do modelo. Nosso serviço LLM & AI Agent Security Review examina os sistemas de IA acordados quanto a prompt injection, exposição de dados, saídas inseguras, riscos de recuperação, permissões de ferramentas e limites de transferência para humanos, e entrega constatações por escrito com recomendações priorizadas. Se você ainda está projetando o agente, o serviço Secure AI Agent Integration pode construí-lo com dados aprovados, ferramentas com escopo definido e pontos de revisão desde o início, e o serviço AI Governance, Policy & Data Safety pode definir as regras de uso em torno dele. Refaça a revisão quando modelos, ferramentas ou fontes de dados mudarem, pois o comportamento pode se alterar a cada mudança.

LLM & AI Agent Security Review

Ver a página do serviço LLM & AI Agent Security Review