الفريق الأحمر للذكاء الاصطناعي وتقييم أمان نماذج اللغة الكبيرة (LLM)
اطّلع على سلوك تطبيق الذكاء الاصطناعي لديك تحت الاختبار العدائي، مع نتائج موثّقة بالأدلة عن حقن التعليمات وتسرّب البيانات وإساءة الاستخدام، وقائمة إصلاحات مرتّبة حسب الأولوية.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİإسطنبول، تركيا
- BilgeQor Ltdلندن، المملكة المتحدة
- PT BILGEQOR INTELLIGENT SYSTEMSجاكرتا، إندونيسيا
هل يُعد الفريق الأحمر للذكاء الاصطناعي مناسباً لكم؟
الأنسب لـ
- ✓الفرق التي توشك على إطلاق روبوت محادثة أو مساعد ذكي أو بحث معزَّز بالاسترجاع أو وكيل ذكاء اصطناعي يصل إلى بيانات الشركة أو أدواتها، أو التوسع فيه
- ✓قادة المنتج والأمن الذين يتعين عليهم الإجابة بالأدلة عن أسئلة العملاء أو مجلس الإدارة حول مخاطر الذكاء الاصطناعي
- ✓المؤسسات التي تستعد لالتزامات قانون EU AI Act وتريد معرفة موقع أنظمتها منها
- ✓فرق الهندسة التي تستدعي نماذجها أدوات أو تتصفح الويب أو تتصرف بناءً على مستندات يوفرها أطراف خارجية
خدمة أخرى أنسب إذا
- –ترغب في اختبار تطبيق الويب وواجهات API لديك: تغطي ذلك خدمتا اختبار الاختراق واختبار أمان واجهات API
- –ترغب في مراجعة تصميم تكامل وكيل ذكاء اصطناعي: تغطي ذلك خدمة مراجعة أمان نماذج اللغة الكبيرة ووكلاء الذكاء الاصطناعي
- –ترغب في محاكاة خصم بشري ضد مؤسستك: تغطي ذلك خدمة تمرين الفريق الأحمر
ما نقوم بتقييمه
- اعرف ما إذا كانت التعليمات المخفية قادرة على السيطرة على الذكاء الاصطناعي لديك: اختبار حقن التعليمات المباشر وغير المباشر، بما في ذلك التعليمات المخفية في المستندات وصفحات الويب والرسائل الإلكترونية ومخرجات الأدوات
- أبقِ البيانات الحساسة داخل مؤسستك: اختبار التسرّب يشمل تعليمات النظام (system prompts) والمستندات المسترجعة وبيانات التدريب أو الضبط الدقيق وبيانات المستخدمين الآخرين
- اطّلع على مدى صمود سياستك: اختبار إساءة الاستخدام قياسًا على السياسة التي تضعها، ويشمل كسر القيود (jailbreaks) وتجاوز حظر المحتوى الضار وإساءة استخدام الوظائف المسموح بها
- حدّ مما يستطيع الوكيل فعله: مراجعة الوكيل واستخدام الأدوات بحثًا عن الصلاحيات المفرطة والإجراءات غير الآمنة والإضافات غير الآمنة وغياب خطوات الموافقة البشرية
- أمّن البيانات التي يعتمد عليها النموذج: مراجعة الاسترجاع وقاعدة بيانات المتجهات (vector store) وخطوط معالجة البيانات، بما في ذلك التحكم في الوصول ومسارات التسميم
- تحقق من الضوابط المحيطة بالنموذج: مراجعة المصادقة وتحديد معدل الطلبات ومعالجة المخرجات والتسجيل في التطبيق المحيط
- استعد لمناقشات قانون EU AI Act: رسم خريطة جاهزية لتصنيف النظام وفجوات التوثيق والإشراف، تُقدَّم كعرض للجاهزية لمستشاريك
التسليمات
- المدة الزمنية المعتادة
- عادةً من 2–4 أسابيع بعد توقيع النطاق، بحسب عدد أنظمة الذكاء الاصطناعي والأدوات ضمن النطاق، ويُؤكَّد ذلك في عرضنا المكتوب.
- التسعير
- عرض بسعر ثابت بعد مكالمة تحديد نطاق مجانية.
قبل أن نبدأ
- +موافقة من مسؤول تنفيذي يملك نظام الذكاء الاصطناعي، تشمل أساليب الاختبار وحسابات الاختبار
- +بيئة اختبار أو بيئة تجريبية (staging)، أو حدود للاختبار في بيئة الإنتاج
- +حسابات اختبار ووصول إلى واجهة API ووثائق عن النموذج والأدوات ومصادر البيانات وتعليمات النظام
- +قواعد استخدام مقبول مكتوبة تشمل اختبار المحتوى الضار والتعامل مع البيانات وشروط الإيقاف
- +إشعارات مزوّد النموذج أو المنصة، حيثما تشترطها شروطهم
- +جهات اتصال محددة بالاسم متاحة خلال فترة الاختبار
غير مشمول (متاح بشكل منفصل)
- الاستشارات القانونية أو أي تحديد رسمي للامتثال لقانون EU AI Act أو تقييم المطابقة أو منح شهادة اعتماد؛ نحن نقدّم لك أدلة الجاهزية التي يحتاجها مستشاروك
- تدريب النماذج أو إعادة تدريبها أو بناء أنظمة جديدة للحواجز الوقائية، ما لم يُسعَّر ذلك بشكل منفصل
- اختبار البنية التحتية الخاصة بمزوّدي النماذج من الأطراف الثالثة، واختبار حجب الخدمة الذي قد يؤثر في السعة المشتركة أو سعة الإنتاج
- اختبار الويب وواجهات API العام للتطبيق المضيف: متاح ضمن خدمتي اختبار الاختراق واختبار أمان واجهات API
كيف يعمل
تحديد النطاق والموافقة
لا يبدأ الاختبار إلا بإذن كتابي من المالك ونطاق موقّع وشروط إيقاف متفق عليها، حتى يبقى نظام الذكاء الاصطناعي العامل ومستخدموه في أمان. نؤكد نظام الذكاء الاصطناعي وبيئة الاختبار وسيناريوهات إساءة الاستخدام والإجراءات المحظورة قبل أي اختبار.
نمذجة التهديدات
نرسم خريطة لمصادر البيانات والأدوات والمستخدمين وحدود الثقة لنحدد مسارات الهجوم الأكثر أهمية لنظامك.
الاختبار العدائي
ننفّذ هجمات يدوية وآلية ضد النظام ضمن النطاق، ونسجّل التعليمات والاستجابات والأدلة لكل نتيجة.
إعداد التقارير
نسلّم النتائج وسرد مسار الهجوم وتوصيات الضوابط وخريطة الجاهزية بصيغة تتيح لفرقك التصرف بناءً عليها.
العرض الختامي وإعادة الاختبار
نستعرض النتائج مع أصحاب المصلحة لديك، ونعيد اختبار الإصلاحات التي نفّذتها إذا اخترت ذلك.
اطلب تحديد النطاق أولًا. نرد خلال 24 ساعة ونؤكد في عرض مكتوب نظام الذكاء الاصطناعي والتكاملات والتفويض ونافذة الاختبار. يبدأ العمل بعد تأكيد النطاق المكتوب.
النطاق وعرض السعر
يعتمد النطاق النهائي وعرض السعر على نظام الذكاء الاصطناعي لديك وتكاملاته ونافذة الاختبار.
لماذا BilgeQor
- تأتي كل نتيجة مع تعليمات إعادة الإنتاج والأدلة، ويوضح سرد مسار الهجوم كيف تتضافر المشكلات في تطبيقك.
- تمنح خريطة الجاهزية لقانون EU AI Act مستشاريك رؤية منظّمة لفجوات التصنيف والتوثيق والإشراف.
- يُحدَّد نظام الذكاء الاصطناعي وبيئة الاختبار وشروط الإيقاف في نطاق مكتوب أولًا؛ ويعمل المختبرون عن بُعد بتنسيق من إسطنبول وجاكرتا ولندن.
الأسئلة المتكررة
الخدمات ذات الصلة
تقييم أمني تكون فيه السلامة أولًا لأنظمة التحكم الصناعية وشبكات التقنية التشغيلية والأجهزة المتصلة، يُخطَّط بالتعاون مع مهندسيك.
اختبر واجهات API لديك بحثًا عن ثغرات الوصول
اختبار مصرّح به لواجهات REST وGraphQL وواجهات API الخلفية للجوال بحثًا عن ضعف التحقق من الصلاحيات والحقن وعيوب منطق الأعمال، مع قائمة واضحة بالإصلاحات.
الصناعات
اختبر تطبيق الذكاء الاصطناعي لديك تحت الضغط
صِف نظام الذكاء الاصطناعي لديك وأدواته؛ ويصلك عرض بسعر ثابت مكتوبًا.
ماذا يحدث بعد الإرسال
- نراجع طلبكم
- مناقشة النطاق
- عرض مكتوب
نردّ خلال 24 ساعة.
