Sécurité des agents IA : injection de prompt et abus d'outils

Définition

Les grands modèles de langage ne distinguent pas de manière fiable les instructions de leur opérateur de celles intégrées dans les données qu'ils traitent. L'injection de prompt directe se produit lorsqu'un utilisateur saisit des instructions destinées à contourner les règles du système. L'injection de prompt indirecte se produit lorsque le modèle lit un contenu externe, comme une page web, un e-mail, un document ou un ticket de support, contenant des instructions cachées, par exemple pour révéler des données ou appeler un outil. D'autres risques s'y ajoutent. Des informations sensibles peuvent fuiter lorsque le modèle a accès à des données que l'utilisateur ne devrait pas voir. Une autonomie excessive apparaît lorsqu'un agent dispose de larges permissions sur des outils, comme la possibilité d'envoyer des e-mails ou de supprimer des enregistrements, sans confirmation. Une gestion inappropriée des sorties survient lorsque la sortie du modèle est transmise directement à du code, à des requêtes ou à des pages web sans validation. Les risques liés à la chaîne d'approvisionnement proviennent des modèles, plugins et connecteurs tiers. L'OWASP Top 10 for LLM Applications (édition 2025) recense ces catégories et d'autres catégories connexes, comme la fuite du prompt système et la consommation non bornée, et l'OWASP GenAI Security Project publie également des recommandations propres aux applications agentiques. Aucune technique actuelle ne permettant d'empêcher totalement l'injection de prompt, la conception doit partir du principe que certaines instructions injectées réussiront et limiter ce qu'elles peuvent faire.

Public concerné

Ce guide concerne :

• Les équipes qui développent des agents utilisant des outils, des API ou des données d'entreprise
• Les entreprises qui déploient des assistants IA auprès de clients ou de collaborateurs
• Les responsables sécurité et risques sollicités pour approuver une fonctionnalité d'IA
• Les responsables produit qui intègrent des plateformes ou connecteurs d'IA tiers

Ce qu'il aide à clarifier

Examiner ces risques aide à clarifier :

• Quelles données l'agent peut lire et si chaque utilisateur y a droit
• Quelles actions l'agent peut effectuer et lesquelles exigent une confirmation humaine
• Comment un contenu non fiable parvient au modèle et ce qu'il pourrait influencer
• Où va ensuite la sortie du modèle et si elle est validée

Ce qui est inclus

• Inventoriez chaque outil, connecteur et source de données auxquels l'agent peut accéder
• Appliquez le principe du moindre privilège : donnez à chaque outil la permission la plus restreinte et limitez-la à l'utilisateur courant
• Exigez une confirmation humaine pour les actions qui envoient, suppriment, paient, publient ou modifient des permissions
• Traitez les contenus récupérés, e-mails, fichiers et pages web comme des entrées non fiables
• Séparez les instructions système des contenus utilisateurs et récupérés aussi clairement que la plateforme le permet
• Validez et encodez la sortie du modèle avant qu'elle n'atteigne du code, des requêtes ou des pages web
• Appliquez le contrôle d'accès dans la couche de données, pas dans le prompt
• Fixez des limites de débit, de coût et de nombre d'actions par session
• Journalisez les prompts, les appels d'outils et leurs résultats avec des mesures de protection de la vie privée appropriées, et examinez-les
• Testez avec des entrées malveillantes, y compris l'injection indirecte via des documents et des liens
• Prévoyez un moyen de désactiver rapidement un outil ou l'agent si un usage abusif est détecté

Ce qui n'est pas inclus

• L'affirmation que l'injection de prompt peut être totalement empêchée
• La certification ou l'approbation réglementaire d'un système d'IA
• Un conseil juridique sur la réglementation de l'IA
• La surveillance continue des agents en production, sauf accord distinct

Quand le choisir

Traitez ces risques avant de connecter un agent à des outils ou données réels, puis de nouveau chaque fois que de nouveaux outils, sources de données ou groupes d'utilisateurs sont ajoutés. Un agent sûr en tant que prototype interne en lecture seule peut ne plus l'être dès qu'il peut envoyer des e-mails à des clients. Si un éditeur fournit la plateforme de l'agent, demandez-lui comment elle gère les permissions des outils, les étapes de confirmation, la journalisation et l'isolation des données.

Notre approche

Concevez pour le confinement plutôt que pour une prévention parfaite. Demandez-vous quel serait le pire résultat réaliste si une instruction injectée réussissait, puis réduisez les permissions et ajoutez des étapes de confirmation jusqu'à ce que ce résultat soit acceptable. Conservez les décisions d'autorisation dans du code déterministe, en dehors du modèle. Notre service LLM & AI Agent Security Review examine les systèmes d'IA convenus sous l'angle de l'injection de prompt, de l'exposition des données, des sorties non sûres, des risques liés à la récupération, des permissions des outils et des limites de transfert vers un humain, et fournit des constats écrits avec des recommandations hiérarchisées. Si vous êtes encore en phase de conception de l'agent, Secure AI Agent Integration peut le construire dès le départ avec des données approuvées, des outils délimités et des points de revue, et AI Governance, Policy & Data Safety peut définir les règles d'usage qui l'encadrent. Renouvelez la revue lorsque les modèles, outils ou sources de données changent, car le comportement peut évoluer à chaque fois.

service LLM & AI Agent Security Review

Foire aux questions

Articles connexes