Red teaming de IA e avaliación da seguridade de LLM
Vexa como se comporta a súa aplicación de IA baixo probas adversarias, con achados documentados sobre inxección de prompts, fuga de datos e uso indebido, e unha lista de correccións priorizada.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLondres, Reino Unido
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Is Red teaming de IA o right fit?
Ideal para
- ✓Equipos que van lanzar ou ampliar un chatbot, copiloto, busca con xeración aumentada por recuperación ou axente de IA con acceso a datos ou ferramentas da empresa
- ✓Responsables de produto e de seguridade que deben responder con evidencias ás preguntas de clientes ou do consello sobre o risco da IA
- ✓Organizacións que se preparan para as obrigas da Lei de IA da UE e queren saber en que punto están os seus sistemas
- ✓Equipos de enxeñaría cuxos modelos invocan ferramentas, navegan pola web ou actúan sobre documentos achegados por terceiros
Outro servizo encaixa mellor se
- –Quere que se proben a súa aplicación web e as súas API: Probas de intrusión e Probas de seguridade de API abordan iso
- –Quere unha revisión do deseño da integración dun axente de IA: Revisión da seguridade de LLM e axentes de IA aborda iso
- –Quere que se simule un adversario humano contra a súa organización: Exercicio de Red Team aborda iso
O que avaliamos
- Saber se unhas instrucións ocultas poden secuestrar a súa IA: probas de inxección de prompts directa e indirecta, incluídas as instrucións agochadas en documentos, páxinas web, correos electrónicos e saídas de ferramentas
- Manter os datos sensibles dentro: probas de fuga que abarcan os prompts do sistema, os documentos recuperados, os datos de adestramento ou axuste fino e os datos doutros usuarios
- Ver como resiste a súa política: probas de uso indebido fronte á política que vostede defina, con jailbreaks, elusión de filtros de contido daniño e abuso de funcións permitidas
- Limitar o que pode facer un axente: revisión do axente e do uso de ferramentas para detectar permisos excesivos, accións inseguras, complementos inseguros e a falta de pasos de aprobación humana
- Protexer os datos que hai detrás do modelo: revisión da recuperación, do almacén vectorial e do fluxo de datos, incluídos o control de acceso e as vías de contaminación
- Comprobar os controis que rodean o modelo: revisión da autenticación, da limitación de taxa, do tratamento das saídas e do rexistro na aplicación circundante
- Preparar as conversas sobre a Lei de IA da UE: mapa de preparación das lagoas de clasificación do sistema, documentación e supervisión, presentado como vista de preparación para os seus asesores
Entregables
- Prazo habitual
- Normalmente de 2 a 4 semanas desde o alcance asinado, segundo o número de sistemas de IA e ferramentas incluídos, confirmado na súa proposta por escrito.
- Prezos
- Proposta de prezo pechado tras unha chamada de definición do alcance gratuíta.
Antes de comezar
- +A aprobación dun directivo responsable do sistema de IA, que cubra os métodos de proba e as contas de proba
- +Un contorno de proba ou preprodución, ou límites para probar en produción
- +Contas de proba, acceso á API e documentación do modelo, das ferramentas, das fontes de datos e dos prompts do sistema
- +Regras de uso aceptable por escrito que cubran as probas de contido daniño, o tratamento de datos e as condicións de parada
- +Notificacións ao provedor do modelo ou da plataforma, cando os seus termos as esixan
- +Persoas de contacto designadas durante o período de probas
Non incluído (dispoñible por separado)
- Asesoramento xurídico ou unha determinación formal de cumprimento da Lei de IA da UE, avaliación de conformidade ou certificación; nós entregámoslle as evidencias de preparación que necesitan os seus asesores
- O adestramento ou readestramento de modelos, ou a creación de novos sistemas de barreiras de protección, salvo orzamento á parte
- As probas da infraestrutura propia dos provedores de modelos de terceiros, e as probas de denegación de servizo que poidan afectar a capacidade compartida ou de produción
- As probas xerais web e de API da aplicación anfitrioa: dispoñibles como Probas de intrusión e Probas de seguridade de API
Como funciona
Definición do alcance e aprobación
As probas só comezan co permiso por escrito da persoa propietaria e cun alcance asinado con condicións de parada acordadas, para que o seu sistema de IA en produción e os seus usuarios queden protexidos. Antes de calquera proba, confirmamos o sistema de IA, o contorno de proba, os escenarios de abuso e as accións prohibidas.
Modelado de ameazas
Mapeamos as fontes de datos, as ferramentas, os usuarios e os límites de confianza para decidir que vías de ataque son máis relevantes para o seu sistema.
Probas adversarias
Executamos ataques manuais e automatizados contra o sistema incluído no alcance, rexistrando os prompts, as respostas e as evidencias de cada achado.
Informe
Entregamos os achados, a narración das vías de ataque, as recomendacións de control e o mapa de preparación nun formato sobre o que os seus equipos poidan actuar.
Presentación de resultados e nova proba
Explicamos os resultados aos seus interesados e, se vostede o decide, probamos de novo as correccións que realizase.
Solicite primeiro o alcance. Respondemos nun prazo de 24 horas e confirmamos nunha proposta por escrito o sistema de IA, as integracións, a autorización e a xanela de probas. O traballo comeza cando se confirma o alcance por escrito.
Ámbito de aplicación e cotización
O alcance definitivo e o orzamento dependen do seu sistema de IA, das integracións e da xanela de probas.
Por que BilgeQor
- Cada achado vén con prompts de reprodución e evidencias, e unha narración das vías de ataque mostra como se combinan os problemas na súa aplicación.
- O mapa de preparación para a Lei de IA da UE ofrece aos seus asesores unha vista estruturada das lagoas de clasificación, documentación e supervisión.
- O sistema de IA, o contorno de proba e as condicións de parada fíxanse primeiro nun alcance por escrito; as persoas probadoras traballan en remoto, coordinadas desde Istanbul, Xacarta e Londres.
Preguntas frecuentes
Servizos relacionados
Avaliación de seguridade OT, ICS e IoT
Avaliación de seguridade de sistemas de control industrial, redes de tecnoloxía operacional e dispositivos conectados, con prioridade na seguridade operacional (safety) e planificada cos seus enxeñeiros.
Probe as súas API fronte a fallos de acceso
Probas autorizadas das súas API REST, GraphQL e de backend móbil en busca de autorización defectuosa, inxección e fallos de lóxica de negocio, cunha lista clara de correccións.
Poña á proba a súa aplicación de IA
Describa o seu sistema de IA e as súas ferramentas; recibirá por escrito unha proposta de prezo pechado.
Que ocorre despois de enviar a súa solicitude
- Revisamos a súa solicitude
- Conversa sobre o alcance
- Proposta por escrito
Respondémoslle nun prazo de 24 horas.
