Tekoälyn red teaming ja LLM-tietoturva-arviointi
Näette, miten tekoälysovelluksenne käyttäytyy vastakkainasetteluun perustuvassa testauksessa: todennettuja havaintoja kehoteinjektiosta, tietovuodoista ja väärinkäytöstä sekä priorisoitu korjauslista.
- UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
- BilgeQor LtdLontoo, Yhdistynyt kuningaskunta
- PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Sopiiko Tekoälyn red teaming tarpeeseen?
Parhaiten sopii
- ✓Tiimit, jotka ovat julkaisemassa tai laajentamassa chatbotia, copilotia, hakulaajennettua (retrieval-augmented) hakua tai tekoälyagenttia, jolla on pääsy yrityksen tietoihin tai työkaluihin
- ✓Tuote- ja tietoturvajohtajat, joiden on vastattava asiakkaiden tai hallituksen tekoälyriskiä koskeviin kysymyksiin todisteilla
- ✓Organisaatiot, jotka valmistautuvat EU:n tekoälyasetuksen velvoitteisiin ja haluavat tietää, missä järjestelmät nyt ovat
- ✓Kehitystiimit, joiden mallit kutsuvat työkaluja, selaavat verkkoa tai toimivat ulkopuolisten toimittamien asiakirjojen perusteella
Toinen palvelu sopii paremmin, jos
- –Haluatte web-sovelluksenne ja API-rajapintanne testattavan: Tunkeutumistestaus ja API-tietoturvatestaus kattavat sen
- –Haluatte tekoälyagentin integraatiosuunnitelman katselmoinnin: LLM- ja tekoälyagenttien tietoturvakatselmointi kattaa sen
- –Haluatte ihmishyökkääjän simulointia organisaatiotanne vastaan: Red team -harjoitus kattaa sen
Mitä arvioimme
- Tiedätte, voivatko piilotetut ohjeet kaapata tekoälynne: suora ja epäsuora kehoteinjektiotestaus, mukaan lukien asiakirjoihin, verkkosivuille, sähköposteihin ja työkalujen tulosteisiin piilotetut ohjeet
- Arkaluonteiset tiedot pysyvät sisällä: vuototestaus, joka kattaa järjestelmäkehotteet, haetut asiakirjat, koulutus- tai hienosäätödatan sekä muiden käyttäjien tiedot
- Näette, miten linjauksenne pitää: väärinkäyttötestaus asettamanne linjauksen vastaisesti, kattaen jailbreak-hyökkäykset, haitallisen sisällön suodatuksen ohittamisen ja sallittujen toimintojen väärinkäytön
- Rajoitatte sitä, mitä agentti voi tehdä: agentin ja työkalujen käytön katselmointi, joka kattaa liialliset oikeudet, vaaralliset toiminnot, turvattomat liitännäiset ja puuttuvat ihmisen hyväksyntävaiheet
- Suojaatte mallin taustalla olevan datan: haun, vektoritietokannan ja datan käsittelyketjun katselmointi, mukaan lukien pääsynhallinta ja datan myrkyttämisen reitit
- Tarkistatte mallin ympärillä olevat kontrollit: ympäröivän sovelluksen todennuksen, kutsumäärien rajoituksen, tulosteiden käsittelyn ja lokituksen katselmointi
- Valmistaudutte EU:n tekoälyasetusta koskeviin keskusteluihin: järjestelmän luokittelun, dokumentaation ja valvonnan puutteiden valmiuskartoitus, esitettynä neuvonantajillenne valmiusnäkymänä
Toimitettavat
- Tyypillinen aikataulu
- Tyypillisesti 2–4 viikkoa allekirjoitetusta rajauksesta, riippuen testattavien tekoälyjärjestelmien ja työkalujen määrästä; vahvistetaan kirjallisessa tarjouksessanne.
- Hinnoittelu
- Kiinteähintainen tarjous maksuttoman rajauspuhelun jälkeen.
Ennen aloitusta
- +Tekoälyjärjestelmän omistavan johtajan hyväksyntä, joka kattaa testausmenetelmät ja testitunnukset
- +Testi- tai kehitysympäristö tai rajaukset tuotantotestaukselle
- +Testitunnukset, API-pääsy sekä mallin, työkalujen, tietolähteiden ja järjestelmäkehotteiden dokumentaatio
- +Kirjalliset hyväksyttävän käytön säännöt, jotka kattavat haitallisen sisällön testauksen, datan käsittelyn ja keskeytysehdot
- +Mallin toimittajan tai alustan ilmoitukset, jos heidän ehtonsa niitä edellyttävät
- +Nimetyt yhteyshenkilöt, jotka ovat tavoitettavissa testausjakson aikana
Ei sisälly (saatavilla erikseen)
- Oikeudellinen neuvonta tai virallinen EU:n tekoälyasetuksen vaatimustenmukaisuuden määritys, vaatimustenmukaisuuden arviointi tai sertifiointi; me annamme neuvonantajillenne tarvittavan valmiusaineiston
- Mallien kouluttaminen tai uudelleenkouluttaminen tai uusien suojakaidejärjestelmien rakentaminen, ellei niitä tarjota erikseen
- Kolmansien osapuolten mallitoimittajien oman infrastruktuurin testaus sekä palvelunestotestaus, joka voisi vaikuttaa jaettuun tai tuotantokapasiteettiin
- Isäntäsovelluksen yleinen web- ja API-testaus: saatavilla palveluina Tunkeutumistestaus ja API-tietoturvatestaus
Miten se toimii
Rajaus ja hyväksyntä
Testaus alkaa vain omistajan kirjallisella luvalla ja allekirjoitetulla rajauksella, johon on sovittu keskeytysehdot, jotta tuotannossa oleva tekoälyjärjestelmänne ja sen käyttäjät pysyvät suojattuina. Vahvistamme tekoälyjärjestelmän, testiympäristön, väärinkäyttöskenaariot ja kielletyt toimet ennen testauksen alkua.
Uhkamallinnus
Kartoitamme tietolähteet, työkalut, käyttäjät ja luottamusrajat, jotta voimme päättää, mitkä hyökkäyspolut ovat järjestelmällenne tärkeimpiä.
Vastakkainasetteluun perustuva testaus
Suoritamme manuaalisia ja automatisoituja hyökkäyksiä rajauksen mukaista järjestelmää vastaan ja kirjaamme jokaisesta havainnosta kehotteet, vastaukset ja todisteet.
Raportointi
Toimitamme havainnot, hyökkäyspolun kuvauksen, kontrollisuositukset ja valmiuskartan muodossa, jonka perusteella tiiminne voivat toimia.
Loppukatselmointi ja uudelleentestaus
Käymme sidosryhmänne kanssa läpi tulokset ja, jos niin valitsette, testaamme uudelleen tekemänne korjaukset.
Pyytäkää ensin rajaus. Vastaamme 24 tunnin kuluessa ja vahvistamme kirjallisessa tarjouksessa tekoälyjärjestelmän, integraatiot, valtuutuksen ja testausikkunan. Työ alkaa, kun kirjallinen rajaus on vahvistettu.
Työn laajuus ja tarjous
Lopullinen rajaus ja tarjous riippuvat tekoälyjärjestelmästänne, integraatioistanne ja testausikkunasta.
Miksi BilgeQor
- Jokaiseen havaintoon kuuluvat toistamiskehotteet ja todisteet, ja hyökkäyspolun kuvaus näyttää, miten ongelmat yhdistyvät sovelluksessanne.
- EU:n tekoälyasetuksen valmiuskartta antaa neuvonantajillenne jäsennellyn näkymän luokittelun, dokumentaation ja valvonnan puutteisiin.
- Tekoälyjärjestelmä, testiympäristö ja keskeytysehdot sovitaan ensin kirjallisessa rajauksessa; testaajat työskentelevät etänä, koordinointi Istanbulista, Jakartasta ja Lontoosta.
Usein kysyttyjä kysymyksiä
Aiheeseen liittyvät palvelut
OT-, ICS- ja IoT-tietoturva-arviointi
Teollisuuden ohjausjärjestelmien, operatiivisen teknologian verkkojen ja verkkoon kytkettyjen laitteiden turvallisuus ensin -periaatteella tehtävä tietoturva-arviointi, suunniteltuna insinöörienne kanssa.
Testatkaa API-rajapintanne pääsynhallinnan virheiden varalta
REST-, GraphQL- ja mobiilibackend-rajapintojenne luvallinen testaus rikkinäisen valtuutuksen, injektion ja liiketoimintalogiikan virheiden varalta, selkeällä korjauslistalla.
Toimialat
Testatkaa tekoälysovelluksenne äärirajoilla
Kuvailkaa tekoälyjärjestelmänne ja sen työkalut; kiinteähintainen tarjous saapuu kirjallisena.
Mitä tapahtuu lähettämisen jälkeen
- Käymme pyyntönne läpi
- Keskustelu laajuudesta
- Kirjallinen tarjous
Vastaamme 24 tunnin kuluessa.
