Ana içeriğe geç
BilgeQor

Yapay Zekâ Red Teaming ve LLM Güvenlik Değerlendirmesi

Yapay zekâ uygulamanızın saldırgan test altında nasıl davrandığını görün; prompt injection, veri sızıntısı ve kötüye kullanım konusunda kanıtlanmış bulgular ve önceliklendirilmiş bir düzeltme listesiyle.

Kapsam tanımlı çalışma
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİİstanbul, Türkiye
  • BilgeQor LtdLondra, Birleşik Krallık
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Endonezya
24 saat içinde yanıt veriyoruz.

Yapay Zekâ Red Teaming: kapsam fit?

En uygun olduğu durumlar

  • ✓Şirket verilerine veya araçlarına erişimi olan bir sohbet botunu, copilot'u, geri getirme destekli aramayı veya yapay zekâ ajanını yayına almak ya da genişletmek üzere olan ekipler
  • ✓Yapay zekâ riskine ilişkin müşteri veya yönetim kurulu sorularını kanıtla yanıtlaması gereken ürün ve güvenlik yöneticileri
  • ✓EU AI Act yükümlülüklerine hazırlanan ve sistemlerinin nerede durduğunu bilmek isteyen kuruluşlar
  • ✓Modelleri araçları çağıran, web'de gezinen veya dış taraflarca sağlanan belgeler üzerinde işlem yapan mühendislik ekipleri

Başka bir hizmetin daha uygun olduğu durumlar

  • –Web uygulamanızın ve API'lerinizin test edilmesini istiyorsunuz: Sızma Testi ve API Güvenlik Testi bunu kapsar
  • –Bir yapay zekâ ajanı entegrasyon tasarımının incelenmesini istiyorsunuz: LLM & AI Agent Security Review bunu kapsar
  • –Kuruluşunuza karşı insan bir saldırganın simüle edilmesini istiyorsunuz: Red Team Exercise bunu kapsar

Neyi Değerlendiriyoruz

  • Gizli talimatların yapay zekânızı ele geçirip geçiremeyeceğini öğrenin: belgelerde, web sayfalarında, e-postalarda ve araç çıktılarında gizlenmiş talimatlar dahil doğrudan ve dolaylı prompt injection testi
  • Hassas veriyi içeride tutun: sistem prompt'larını, geri getirilen belgeleri, eğitim veya ince ayar verilerini ve diğer kullanıcıların verilerini kapsayan sızıntı testi
  • Politikanızın nasıl dayandığını görün: belirlediğiniz politikaya karşı, jailbreak'leri, zararlı içerik atlatmayı ve izin verilen işlevlerin kötüye kullanımını kapsayan kötüye kullanım testi
  • Bir ajanın neler yapabileceğini sınırlayın: aşırı izinlerin, güvensiz eylemlerin, güvensiz eklentilerin ve eksik insan onay adımlarının ajan ve araç kullanımı incelemesi
  • Modelin arkasındaki veriyi güvenli hale getirin: erişim kontrolü ve zehirleme yolları dahil geri getirme, vektör deposu ve veri hattı incelemesi
  • Modelin etrafındaki kontrolleri doğrulayın: çevreleyen uygulamadaki kimlik doğrulama, hız sınırlama, çıktı işleme ve loglama incelemesi
  • EU AI Act görüşmelerine hazırlanın: sistem sınıflandırması, dokümantasyon ve gözetim boşluklarının hazırlık eşlemesi; danışmanlarınız için bir hazırlık görünümü olarak sunulur

Teslimatlar

Tipik zaman çizelgesi
İmzalı kapsamdan itibaren kapsamdaki yapay zekâ sistemi ve araç sayısına bağlı olarak genellikle 2–4 hafta sürer ve yazılı teklifinizde teyit edilir.
Fiyatlandırma
Ücretsiz kapsam görüşmesinin ardından sabit ücretli teklif.
Neyin test edileceğini ve testin nerede duracağını herkesin bilmesi için bir test planı ve çalışma kuralları özeti
Önem derecesi, yeniden üretme prompt'ları, kanıt ve iyileştirme yönlendirmesi içeren bir bulgu kaydı; ekibiniz her sorunu yeniden üretip düzeltebilir
Sorunların uygulamanızda nasıl birleştiğini gösteren bir saldırı yolu anlatısı; gerçek iş riskini görebilirsiniz
Model, uygulama ve veri katmanları genelinde koruma bariyeri ve kontrol önerileri
Belirlenen dokümantasyon ve gözetim boşluklarını içeren, danışmanlarınıza iletmeye hazır bir EU AI Act hazırlık haritası
Ürün, güvenlik ve mühendislik paydaşlarıyla bir değerlendirme toplantısı; yapacağınız düzeltmelerin yeniden testi mümkündür

Başlamadan önce

  • +Yapay zekâ sisteminin sahibi olan bir yöneticiden, test yöntemlerini ve test hesaplarını kapsayan onay
  • +Bir test veya hazırlık (staging) ortamı ya da üretimde test için sınırlar
  • +Test hesapları, API erişimi ve modelin, araçların, veri kaynaklarının ve sistem prompt'larının dokümantasyonu
  • +Zararlı içerik testini, veri işlemeyi ve durdurma koşullarını kapsayan yazılı kabul edilebilir kullanım kuralları
  • +Koşulları gerektiriyorsa model sağlayıcısı veya platform bildirimleri
  • +Test penceresi sırasında ulaşılabilir, adı belirtilmiş irtibat kişileri

Dahil değil (ayrıca sunulur)

  • Hukuki danışmanlık veya EU AI Act uyumluluğunun, uygunluk değerlendirmesinin ya da sertifikasyonunun resmî tespiti; danışmanlarınızın ihtiyaç duyduğu hazırlık kanıtını size veririz
  • Modellerin eğitilmesi veya yeniden eğitilmesi ya da ayrıca fiyatlandırılmadıkça yeni koruma bariyeri sistemleri kurulması
  • Üçüncü taraf model sağlayıcılarının kendi altyapısının testi ve paylaşılan veya üretim kapasitesini etkileyebilecek hizmet reddi testi
  • Ana uygulamanın genel web ve API testi: Sızma Testi ve API Güvenlik Testi olarak sunulur

Nasıl Çalışır

1

Kapsam belirleme ve onay

Test yalnızca sahibin yazılı izni ve üzerinde mutabık kalınan durdurma koşullarını içeren imzalı bir kapsamla başlar; böylece canlı yapay zekâ sisteminiz ve kullanıcıları korunur. Herhangi bir test öncesinde yapay zekâ sistemini, test ortamını, kötüye kullanım senaryolarını ve yasaklı eylemleri teyit ederiz.

2

Tehdit modelleme

Hangi saldırı yollarının sisteminiz için en önemli olduğuna karar vermek üzere veri kaynaklarını, araçları, kullanıcıları ve güven sınırlarını haritalarız.

3

Saldırgan test

Kapsamdaki sisteme karşı manuel ve otomatik saldırılar yürütür, her bulgu için prompt'ları, yanıtları ve kanıtı kaydederiz.

4

Raporlama

Bulguları, saldırı yolu anlatısını, kontrol önerilerini ve hazırlık haritasını ekiplerinizin harekete geçebileceği biçimde teslim ederiz.

5

Değerlendirme ve yeniden test

Sonuçları paydaşlarınıza anlatır ve siz seçerseniz yaptığınız düzeltmeleri yeniden test ederiz.

Önce kapsam talep edin. 24 saat içinde yanıt verir; yapay zekâ sistemini, entegrasyonları, yetkilendirmeyi ve test penceresini yazılı bir teklifte teyit ederiz. Yazılı kapsam teyit edildikten sonra çalışma başlar.

Kapsam ve Teklif

Nihai kapsam ve fiyat teklifi, yapay zekâ sisteminize, entegrasyonlarınıza ve test penceresine bağlıdır.

Neden BilgeQor

  • Her bulgu yeniden üretme prompt'ları ve kanıtla gelir; bir saldırı yolu anlatısı sorunların uygulamanızda nasıl birleştiğini gösterir.
  • EU AI Act hazırlık haritası, danışmanlarınıza sınıflandırma, dokümantasyon ve gözetim boşluklarına dair yapılandırılmış bir görünüm sunar.
  • Yapay zekâ sistemi, test ortamı ve durdurma koşulları önce yazılı bir kapsamda belirlenir; test uzmanları uzaktan çalışır ve İstanbul, Cakarta ve Londra'dan koordine edilir.

Sık Sorulan Sorular

İlgili Hizmetler

OT, ICS ve IoT Güvenlik Değerlendirmesi

Endüstriyel kontrol sistemlerinin, operasyonel teknoloji ağlarının ve bağlı cihazların, mühendislerinizle birlikte planlanan, güvenlik öncelikli değerlendirmesi.

API'lerinizi erişim kusurları açısından test edin

REST, GraphQL ve mobil arka uç API'lerinizin; bozuk yetkilendirme, enjeksiyon ve iş mantığı kusurları açısından yetkilendirilmiş testi; net bir düzeltme listesiyle.

Yapay zekâ uygulamanızı sınırlarına kadar test edin

Yapay zekâ sisteminizi ve araçlarını anlatın; sabit ücretli bir teklif yazılı olarak size döner.

Gönderdikten sonra ne olur

  1. Talebinizi inceleriz
  2. Kapsam görüşmesi
  3. Yazılı teklif

24 saat içinde yanıt veriyoruz.