Siirry pääsisältöön
BilgeQor

Tekoälyn red teaming ja LLM-tietoturva-arviointi

Näette, miten tekoälysovelluksenne käyttäytyy vastakkainasetteluun perustuvassa testauksessa: todennettuja havaintoja kehoteinjektiosta, tietovuodoista ja väärinkäytöstä sekä priorisoitu korjauslista.

Soveltamisalan määrittelemä toimeksianto
  • UPRELAY YAZILIM TEKNOLOJİLERİ LİMİTED ŞİRKETİIstanbul, Türkiye
  • BilgeQor LtdLontoo, Yhdistynyt kuningaskunta
  • PT BILGEQOR INTELLIGENT SYSTEMSJakarta, Indonesia
Vastaamme 24 tunnin kuluessa.

Sopiiko Tekoälyn red teaming tarpeeseen?

Parhaiten sopii

  • ✓Tiimit, jotka ovat julkaisemassa tai laajentamassa chatbotia, copilotia, hakulaajennettua (retrieval-augmented) hakua tai tekoälyagenttia, jolla on pääsy yrityksen tietoihin tai työkaluihin
  • ✓Tuote- ja tietoturvajohtajat, joiden on vastattava asiakkaiden tai hallituksen tekoälyriskiä koskeviin kysymyksiin todisteilla
  • ✓Organisaatiot, jotka valmistautuvat EU:n tekoälyasetuksen velvoitteisiin ja haluavat tietää, missä järjestelmät nyt ovat
  • ✓Kehitystiimit, joiden mallit kutsuvat työkaluja, selaavat verkkoa tai toimivat ulkopuolisten toimittamien asiakirjojen perusteella

Toinen palvelu sopii paremmin, jos

  • –Haluatte web-sovelluksenne ja API-rajapintanne testattavan: Tunkeutumistestaus ja API-tietoturvatestaus kattavat sen
  • –Haluatte tekoälyagentin integraatiosuunnitelman katselmoinnin: LLM- ja tekoälyagenttien tietoturvakatselmointi kattaa sen
  • –Haluatte ihmishyökkääjän simulointia organisaatiotanne vastaan: Red team -harjoitus kattaa sen

Mitä arvioimme

  • Tiedätte, voivatko piilotetut ohjeet kaapata tekoälynne: suora ja epäsuora kehoteinjektiotestaus, mukaan lukien asiakirjoihin, verkkosivuille, sähköposteihin ja työkalujen tulosteisiin piilotetut ohjeet
  • Arkaluonteiset tiedot pysyvät sisällä: vuototestaus, joka kattaa järjestelmäkehotteet, haetut asiakirjat, koulutus- tai hienosäätödatan sekä muiden käyttäjien tiedot
  • Näette, miten linjauksenne pitää: väärinkäyttötestaus asettamanne linjauksen vastaisesti, kattaen jailbreak-hyökkäykset, haitallisen sisällön suodatuksen ohittamisen ja sallittujen toimintojen väärinkäytön
  • Rajoitatte sitä, mitä agentti voi tehdä: agentin ja työkalujen käytön katselmointi, joka kattaa liialliset oikeudet, vaaralliset toiminnot, turvattomat liitännäiset ja puuttuvat ihmisen hyväksyntävaiheet
  • Suojaatte mallin taustalla olevan datan: haun, vektoritietokannan ja datan käsittelyketjun katselmointi, mukaan lukien pääsynhallinta ja datan myrkyttämisen reitit
  • Tarkistatte mallin ympärillä olevat kontrollit: ympäröivän sovelluksen todennuksen, kutsumäärien rajoituksen, tulosteiden käsittelyn ja lokituksen katselmointi
  • Valmistaudutte EU:n tekoälyasetusta koskeviin keskusteluihin: järjestelmän luokittelun, dokumentaation ja valvonnan puutteiden valmiuskartoitus, esitettynä neuvonantajillenne valmiusnäkymänä

Toimitettavat

Tyypillinen aikataulu
Tyypillisesti 2–4 viikkoa allekirjoitetusta rajauksesta, riippuen testattavien tekoälyjärjestelmien ja työkalujen määrästä; vahvistetaan kirjallisessa tarjouksessanne.
Hinnoittelu
Kiinteähintainen tarjous maksuttoman rajauspuhelun jälkeen.
Testisuunnitelma ja toimintasääntöjen (rules of engagement) yhteenveto, jotta kaikki tietävät, mitä testataan ja missä testaus päättyy
Havaintorekisteri, jossa on vakavuusluokka, toistamiskehotteet, todisteet ja korjausohjeet, jotta tiiminne voi toistaa ja korjata jokaisen ongelman
Hyökkäyspolun kuvaus, joka näyttää, miten ongelmat yhdistyvät sovelluksessanne, jotta näette todellisen liiketoimintariskin
Suojakaide- ja kontrollisuositukset mallin, sovelluksen ja datan tasoilla
EU:n tekoälyasetuksen valmiuskartta, jossa on tunnistetut dokumentaation ja valvonnan puutteet, valmiina annettavaksi neuvonantajillenne
Loppukatselmointi tuote-, tietoturva- ja kehitysvastaavien kanssa; valitsemienne korjausten uudelleentestaus on saatavilla

Ennen aloitusta

  • +Tekoälyjärjestelmän omistavan johtajan hyväksyntä, joka kattaa testausmenetelmät ja testitunnukset
  • +Testi- tai kehitysympäristö tai rajaukset tuotantotestaukselle
  • +Testitunnukset, API-pääsy sekä mallin, työkalujen, tietolähteiden ja järjestelmäkehotteiden dokumentaatio
  • +Kirjalliset hyväksyttävän käytön säännöt, jotka kattavat haitallisen sisällön testauksen, datan käsittelyn ja keskeytysehdot
  • +Mallin toimittajan tai alustan ilmoitukset, jos heidän ehtonsa niitä edellyttävät
  • +Nimetyt yhteyshenkilöt, jotka ovat tavoitettavissa testausjakson aikana

Ei sisälly (saatavilla erikseen)

  • Oikeudellinen neuvonta tai virallinen EU:n tekoälyasetuksen vaatimustenmukaisuuden määritys, vaatimustenmukaisuuden arviointi tai sertifiointi; me annamme neuvonantajillenne tarvittavan valmiusaineiston
  • Mallien kouluttaminen tai uudelleenkouluttaminen tai uusien suojakaidejärjestelmien rakentaminen, ellei niitä tarjota erikseen
  • Kolmansien osapuolten mallitoimittajien oman infrastruktuurin testaus sekä palvelunestotestaus, joka voisi vaikuttaa jaettuun tai tuotantokapasiteettiin
  • Isäntäsovelluksen yleinen web- ja API-testaus: saatavilla palveluina Tunkeutumistestaus ja API-tietoturvatestaus

Miten se toimii

1

Rajaus ja hyväksyntä

Testaus alkaa vain omistajan kirjallisella luvalla ja allekirjoitetulla rajauksella, johon on sovittu keskeytysehdot, jotta tuotannossa oleva tekoälyjärjestelmänne ja sen käyttäjät pysyvät suojattuina. Vahvistamme tekoälyjärjestelmän, testiympäristön, väärinkäyttöskenaariot ja kielletyt toimet ennen testauksen alkua.

2

Uhkamallinnus

Kartoitamme tietolähteet, työkalut, käyttäjät ja luottamusrajat, jotta voimme päättää, mitkä hyökkäyspolut ovat järjestelmällenne tärkeimpiä.

3

Vastakkainasetteluun perustuva testaus

Suoritamme manuaalisia ja automatisoituja hyökkäyksiä rajauksen mukaista järjestelmää vastaan ja kirjaamme jokaisesta havainnosta kehotteet, vastaukset ja todisteet.

4

Raportointi

Toimitamme havainnot, hyökkäyspolun kuvauksen, kontrollisuositukset ja valmiuskartan muodossa, jonka perusteella tiiminne voivat toimia.

5

Loppukatselmointi ja uudelleentestaus

Käymme sidosryhmänne kanssa läpi tulokset ja, jos niin valitsette, testaamme uudelleen tekemänne korjaukset.

Pyytäkää ensin rajaus. Vastaamme 24 tunnin kuluessa ja vahvistamme kirjallisessa tarjouksessa tekoälyjärjestelmän, integraatiot, valtuutuksen ja testausikkunan. Työ alkaa, kun kirjallinen rajaus on vahvistettu.

Työn laajuus ja tarjous

Lopullinen rajaus ja tarjous riippuvat tekoälyjärjestelmästänne, integraatioistanne ja testausikkunasta.

Miksi BilgeQor

  • Jokaiseen havaintoon kuuluvat toistamiskehotteet ja todisteet, ja hyökkäyspolun kuvaus näyttää, miten ongelmat yhdistyvät sovelluksessanne.
  • EU:n tekoälyasetuksen valmiuskartta antaa neuvonantajillenne jäsennellyn näkymän luokittelun, dokumentaation ja valvonnan puutteisiin.
  • Tekoälyjärjestelmä, testiympäristö ja keskeytysehdot sovitaan ensin kirjallisessa rajauksessa; testaajat työskentelevät etänä, koordinointi Istanbulista, Jakartasta ja Lontoosta.

Usein kysyttyjä kysymyksiä

Aiheeseen liittyvät palvelut

OT-, ICS- ja IoT-tietoturva-arviointi

Teollisuuden ohjausjärjestelmien, operatiivisen teknologian verkkojen ja verkkoon kytkettyjen laitteiden turvallisuus ensin -periaatteella tehtävä tietoturva-arviointi, suunniteltuna insinöörienne kanssa.

Testatkaa API-rajapintanne pääsynhallinnan virheiden varalta

REST-, GraphQL- ja mobiilibackend-rajapintojenne luvallinen testaus rikkinäisen valtuutuksen, injektion ja liiketoimintalogiikan virheiden varalta, selkeällä korjauslistalla.

Testatkaa tekoälysovelluksenne äärirajoilla

Kuvailkaa tekoälyjärjestelmänne ja sen työkalut; kiinteähintainen tarjous saapuu kirjallisena.

Mitä tapahtuu lähettämisen jälkeen

  1. Käymme pyyntönne läpi
  2. Keskustelu laajuudesta
  3. Kirjallinen tarjous

Vastaamme 24 tunnin kuluessa.