تنتقل وكلاء الذكاء الاصطناعي من الإجابة عن الأسئلة إلى تنفيذ الإجراءات: قراءة صناديق البريد، والاستعلام من قواعد البيانات، وتحديث التذاكر، وإرسال الرسائل، واستدعاء واجهات API. وهذا التحول يغيّر الصورة الأمنية. فالنموذج الذي ينتج نصًا فقط قد يضلّل؛ أما الوكيل المزوّد بأدوات فيمكنه التصرف بناءً على ذلك النص. ويُعد حقن الأوامر (Prompt Injection)، أي توجيه النموذج بتعليمات مخفية داخل المحتوى، أكثر المخاطر تداولًا، لكنه واحد من عدة مخاطر. يشرح هذا الدليل المخاطر الرئيسية بلغة واضحة والضوابط التي تحدّ منها.
ما هو
لا تميّز النماذج اللغوية الكبيرة بشكل موثوق بين تعليمات الجهة المشغّلة والتعليمات المضمّنة في البيانات التي تعالجها. يحدث حقن الأوامر المباشر حين يكتب المستخدم تعليمات مصممة لتجاوز قواعد النظام. ويحدث حقن الأوامر غير المباشر حين يقرأ النموذج محتوى خارجيًا، مثل صفحة ويب أو بريد إلكتروني أو مستند أو تذكرة دعم، يتضمن تعليمات مخفية، كأن يكشف بيانات أو يستدعي أداة. وتتضافر مخاطر أخرى مع ذلك. فقد تتسرب معلومات حساسة حين يتاح للنموذج الوصول إلى بيانات لا ينبغي للمستخدم رؤيتها. وتنشأ الصلاحية المفرطة حين يمتلك الوكيل صلاحيات واسعة على الأدوات، مثل إرسال البريد الإلكتروني أو حذف السجلات، دون تأكيد. ويقع سوء معالجة المخرجات حين تُمرَّر مخرجات النموذج مباشرة إلى الشيفرة أو الاستعلامات أو صفحات الويب دون تحقق. وتنشأ مخاطر سلسلة التوريد من النماذج والإضافات والموصلات التابعة لأطراف ثالثة. وتصنّف قائمة OWASP Top 10 for LLM Applications (إصدار 2025) هذه الفئات وفئات ذات صلة، مثل تسرّب موجّه النظام والاستهلاك غير المحدود، كما ينشر مشروع OWASP GenAI Security Project إرشادات خاصة بالتطبيقات الوكيلة. ولأنه لا توجد تقنية حالية تمنع حقن الأوامر منعًا تامًا، ينبغي أن يفترض التصميم أن بعض التعليمات المحقونة ستنجح وأن يقيّد ما يمكنها فعله.
لمن هذا؟
هذا الدليل مناسب لـ:
- الفرق التي تبني وكلاء يستخدمون أدوات أو واجهات API أو بيانات الشركة
- الشركات التي تنشر مساعدين بالذكاء الاصطناعي للعملاء أو الموظفين
- مسؤولي الأمن والمخاطر المطلوب منهم اعتماد ميزة ذكاء اصطناعي
- مالكي المنتجات الذين يدمجون منصات أو موصلات ذكاء اصطناعي تابعة لأطراف ثالثة
ما يساعد على توضيح
تساعد مراجعة هذه المخاطر على توضيح:
- البيانات التي يستطيع الوكيل قراءتها، وما إذا كان كل مستخدم مخوّلًا بالاطلاع عليها
- الإجراءات التي يستطيع الوكيل تنفيذها، وأيها يتطلب تأكيدًا بشريًا
- كيف يصل المحتوى غير الموثوق إلى النموذج، وما الذي قد يؤثر فيه
- إلى أين تذهب مخرجات النموذج بعد ذلك، وما إذا كان يجري التحقق منها
ما هو متضمن
- حصر كل أداة وموصل ومصدر بيانات يمكن للوكيل الوصول إليه
- تطبيق مبدأ الحد الأدنى من الصلاحيات: منح كل أداة أضيق صلاحية ممكنة وقصر نطاقها على المستخدم الحالي
- اشتراط التأكيد البشري للإجراءات التي ترسل أو تحذف أو تدفع أو تنشر أو تغيّر الصلاحيات
- التعامل مع المحتوى المسترجَع ورسائل البريد الإلكتروني والملفات وصفحات الويب على أنها مدخلات غير موثوقة
- الفصل بين تعليمات النظام ومحتوى المستخدم والمحتوى المسترجَع بأوضح ما تسمح به المنصة
- التحقق من مخرجات النموذج وترميزها قبل وصولها إلى الشيفرة أو الاستعلامات أو صفحات الويب
- فرض التحكم في الوصول في طبقة البيانات لا في الموجّه
- وضع حدود لمعدل الطلبات والتكلفة وعدد الإجراءات في كل جلسة
- تسجيل الموجّهات واستدعاءات الأدوات والنتائج مع تدابير مناسبة لحماية الخصوصية، ومراجعتها
- الاختبار بمدخلات عدائية، بما في ذلك الحقن غير المباشر عبر المستندات والروابط
- تحديد وسيلة لتعطيل أداة أو الوكيل بسرعة عند رصد إساءة الاستخدام
ما لا يشتمل عليه
- ادعاء بإمكانية منع حقن الأوامر منعًا تامًا
- اعتماد أو موافقة تنظيمية لنظام ذكاء اصطناعي
- استشارة قانونية بشأن تنظيم الذكاء الاصطناعي
- المراقبة المستمرة للوكلاء في بيئة الإنتاج ما لم يُتفق على ذلك بشكل منفصل
متى تختارها
عالج هذه المخاطر قبل ربط الوكيل بأدوات أو بيانات حقيقية، ثم مجددًا كلما أُضيفت أدوات أو مصادر بيانات أو فئات مستخدمين جديدة. فالوكيل الذي كان آمنًا كنموذج أولي داخلي للقراءة فقط قد لا يكون آمنًا حين يصبح قادرًا على إرسال البريد الإلكتروني إلى العملاء. وإذا كانت منصة الوكيل مقدَّمة من مورّد، فاسأل كيف تتعامل مع صلاحيات الأدوات وخطوات التأكيد والتسجيل وعزل البيانات.
نهجنا
صمّم من أجل الاحتواء لا من أجل المنع الكامل. اسأل عن أسوأ نتيجة واقعية إذا نجحت تعليمات محقونة، ثم قلّص الصلاحيات وأضف خطوات تأكيد حتى تصبح تلك النتيجة مقبولة. واحتفظ بقرارات التفويض في شيفرة حتمية خارج النموذج. تفحص خدمتنا «LLM & AI Agent Security Review» أنظمة الذكاء الاصطناعي المتفق عليها من حيث حقن الأوامر، وكشف البيانات، والمخرجات غير الآمنة، ومخاطر الاسترجاع، وصلاحيات الأدوات، وحدود الإحالة إلى البشر، وتقدّم نتائج مكتوبة مع توصيات مرتبة حسب الأولوية. وإن كنت لا تزال في مرحلة تصميم الوكيل، يمكن لخدمة «Secure AI Agent Integration» بناؤه منذ البداية ببيانات معتمدة وأدوات محددة النطاق ونقاط مراجعة، ويمكن لخدمة «AI Governance, Policy & Data Safety» تحديد قواعد الاستخدام المحيطة به. أعد المراجعة عند تغيّر النماذج أو الأدوات أو مصادر البيانات، لأن السلوك قد يتغير مع كل منها.
الأسئلة المتكررة
مقالات ذات صلة
ابدأ
هل تربط وكيل ذكاء اصطناعي بأدوات أو بيانات حقيقية؟
صِف الوكيل وأدواته ومصادر بياناته ومستخدميه. وسنقترح مراجعة أمنية محددة النطاق.
اطلب نطاقًا مكتوبًا