Yapay Zekâ Red Teaming ve LLM Güvenlik Değerlendirmesi
Yapay zekâ uygulamanızın saldırgan test altında nasıl davrandığını görün; prompt injection, veri sızıntısı ve kötüye kullanım konusunda kanıtlanmış bulgular ve önceliklendirilmiş bir düzeltme listesiyle.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİİstanbul, Türkiye
- BilgeQor LtdLondra, Birleşik Krallık
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Endonezya
Yapay Zekâ Red Teaming: kapsam fit?
En uygun olduğu durumlar
- ✓Şirket verilerine veya araçlarına erişimi olan bir sohbet botunu, copilot'u, geri getirme destekli aramayı veya yapay zekâ ajanını yayına almak ya da genişletmek üzere olan ekipler
- ✓Yapay zekâ riskine ilişkin müşteri veya yönetim kurulu sorularını kanıtla yanıtlaması gereken ürün ve güvenlik yöneticileri
- ✓EU AI Act yükümlülüklerine hazırlanan ve sistemlerinin nerede durduğunu bilmek isteyen kuruluşlar
- ✓Modelleri araçları çağıran, web'de gezinen veya dış taraflarca sağlanan belgeler üzerinde işlem yapan mühendislik ekipleri
Başka bir hizmetin daha uygun olduğu durumlar
- –Web uygulamanızın ve API'lerinizin test edilmesini istiyorsunuz: Sızma Testi ve API Güvenlik Testi bunu kapsar
- –Bir yapay zekâ ajanı entegrasyon tasarımının incelenmesini istiyorsunuz: LLM & AI Agent Security Review bunu kapsar
- –Kuruluşunuza karşı insan bir saldırganın simüle edilmesini istiyorsunuz: Red Team Exercise bunu kapsar
Neyi Değerlendiriyoruz
- Gizli talimatların yapay zekânızı ele geçirip geçiremeyeceğini öğrenin: belgelerde, web sayfalarında, e-postalarda ve araç çıktılarında gizlenmiş talimatlar dahil doğrudan ve dolaylı prompt injection testi
- Hassas veriyi içeride tutun: sistem prompt'larını, geri getirilen belgeleri, eğitim veya ince ayar verilerini ve diğer kullanıcıların verilerini kapsayan sızıntı testi
- Politikanızın nasıl dayandığını görün: belirlediğiniz politikaya karşı, jailbreak'leri, zararlı içerik atlatmayı ve izin verilen işlevlerin kötüye kullanımını kapsayan kötüye kullanım testi
- Bir ajanın neler yapabileceğini sınırlayın: aşırı izinlerin, güvensiz eylemlerin, güvensiz eklentilerin ve eksik insan onay adımlarının ajan ve araç kullanımı incelemesi
- Modelin arkasındaki veriyi güvenli hale getirin: erişim kontrolü ve zehirleme yolları dahil geri getirme, vektör deposu ve veri hattı incelemesi
- Modelin etrafındaki kontrolleri doğrulayın: çevreleyen uygulamadaki kimlik doğrulama, hız sınırlama, çıktı işleme ve loglama incelemesi
- EU AI Act görüşmelerine hazırlanın: sistem sınıflandırması, dokümantasyon ve gözetim boşluklarının hazırlık eşlemesi; danışmanlarınız için bir hazırlık görünümü olarak sunulur
Teslimatlar
- Tipik zaman çizelgesi
- İmzalı kapsamdan itibaren kapsamdaki yapay zekâ sistemi ve araç sayısına bağlı olarak genellikle 2–4 hafta sürer ve yazılı teklifinizde teyit edilir.
- Fiyatlandırma
- Ücretsiz kapsam görüşmesinin ardından sabit ücretli teklif.
Başlamadan önce
- +Yapay zekâ sisteminin sahibi olan bir yöneticiden, test yöntemlerini ve test hesaplarını kapsayan onay
- +Bir test veya hazırlık (staging) ortamı ya da üretimde test için sınırlar
- +Test hesapları, API erişimi ve modelin, araçların, veri kaynaklarının ve sistem prompt'larının dokümantasyonu
- +Zararlı içerik testini, veri işlemeyi ve durdurma koşullarını kapsayan yazılı kabul edilebilir kullanım kuralları
- +Koşulları gerektiriyorsa model sağlayıcısı veya platform bildirimleri
- +Test penceresi sırasında ulaşılabilir, adı belirtilmiş irtibat kişileri
Dahil değil (ayrıca sunulur)
- Hukuki danışmanlık veya EU AI Act uyumluluğunun, uygunluk değerlendirmesinin ya da sertifikasyonunun resmî tespiti; danışmanlarınızın ihtiyaç duyduğu hazırlık kanıtını size veririz
- Modellerin eğitilmesi veya yeniden eğitilmesi ya da ayrıca fiyatlandırılmadıkça yeni koruma bariyeri sistemleri kurulması
- Üçüncü taraf model sağlayıcılarının kendi altyapısının testi ve paylaşılan veya üretim kapasitesini etkileyebilecek hizmet reddi testi
- Ana uygulamanın genel web ve API testi: Sızma Testi ve API Güvenlik Testi olarak sunulur
Nasıl Çalışır
Kapsam belirleme ve onay
Test yalnızca sahibin yazılı izni ve üzerinde mutabık kalınan durdurma koşullarını içeren imzalı bir kapsamla başlar; böylece canlı yapay zekâ sisteminiz ve kullanıcıları korunur. Herhangi bir test öncesinde yapay zekâ sistemini, test ortamını, kötüye kullanım senaryolarını ve yasaklı eylemleri teyit ederiz.
Tehdit modelleme
Hangi saldırı yollarının sisteminiz için en önemli olduğuna karar vermek üzere veri kaynaklarını, araçları, kullanıcıları ve güven sınırlarını haritalarız.
Saldırgan test
Kapsamdaki sisteme karşı manuel ve otomatik saldırılar yürütür, her bulgu için prompt'ları, yanıtları ve kanıtı kaydederiz.
Raporlama
Bulguları, saldırı yolu anlatısını, kontrol önerilerini ve hazırlık haritasını ekiplerinizin harekete geçebileceği biçimde teslim ederiz.
Değerlendirme ve yeniden test
Sonuçları paydaşlarınıza anlatır ve siz seçerseniz yaptığınız düzeltmeleri yeniden test ederiz.
Önce kapsam talep edin. 24 saat içinde yanıt verir; yapay zekâ sistemini, entegrasyonları, yetkilendirmeyi ve test penceresini yazılı bir teklifte teyit ederiz. Yazılı kapsam teyit edildikten sonra çalışma başlar.
Kapsam ve Teklif
Nihai kapsam ve fiyat teklifi, yapay zekâ sisteminize, entegrasyonlarınıza ve test penceresine bağlıdır.
Neden BilgeQor
- Her bulgu yeniden üretme prompt'ları ve kanıtla gelir; bir saldırı yolu anlatısı sorunların uygulamanızda nasıl birleştiğini gösterir.
- EU AI Act hazırlık haritası, danışmanlarınıza sınıflandırma, dokümantasyon ve gözetim boşluklarına dair yapılandırılmış bir görünüm sunar.
- Yapay zekâ sistemi, test ortamı ve durdurma koşulları önce yazılı bir kapsamda belirlenir; test uzmanları uzaktan çalışır ve İstanbul, Cakarta ve Londra'dan koordine edilir.
Sık Sorulan Sorular
İlgili Hizmetler
OT, ICS ve IoT Güvenlik Değerlendirmesi
Endüstriyel kontrol sistemlerinin, operasyonel teknoloji ağlarının ve bağlı cihazların, mühendislerinizle birlikte planlanan, güvenlik öncelikli değerlendirmesi.
API'lerinizi erişim kusurları açısından test edin
REST, GraphQL ve mobil arka uç API'lerinizin; bozuk yetkilendirme, enjeksiyon ve iş mantığı kusurları açısından yetkilendirilmiş testi; net bir düzeltme listesiyle.
Endüstriler
Yapay zekâ uygulamanızı sınırlarına kadar test edin
Yapay zekâ sisteminizi ve araçlarını anlatın; sabit ücretli bir teklif yazılı olarak size döner.
Gönderdikten sonra ne olur
- Talebinizi inceleriz
- Kapsam görüşmesi
- Yazılı teklif
24 saat içinde yanıt veriyoruz.
