Utfordringer med kunstig intelligens og sikkerhet

I de siste årene har det vært en dramatisk økning i interessen for kunstig intelligens, ikke minst etter lanseringen av store språkmodeller som ChatGPT for mindre enn to år siden. Kunstig intelligens har blitt tatt i bruk mange aspekter av “det virkelige liv”, som tolkning av røntgenbilder i Helse Sør-Øst .







Hva har så dette med sikkerhet å gjøre? Det er tre hoveddimensjoner:




Kunstig intelligens for sikkerhet – bruk av kunstig intelligens for forbedret deteksjon av skadevare, inntrengning, osv.



Ondartet kunstig intelligens – bruk av kunstig intelligens til å angripe både konvensjonelle systemer (f.eks. som en del av skadevare) og andre systemer som bruker kunstig intelligens



Sikkerhet for kunstig intelligens – forsterkning av systemer som bruker kunstig intelligens slik at de er beskyttet mot ondsinnet påvirkning




Det er en viss grad av overlapp mellom disse, men i det følgende vil vi fokusere mest på den siste: Sikkerhet for kunstig intelligens.



Vi har identifisert 6 sikkerhetsutfordringer som vi mener bør adresseres i Forskningsrådets satsning på kunstig intelligens til høsten.



Utfordring 1: Oppdatering av trusselmodeller for systemer som bruker kunstig intelligens, både fra annen kunstig intelligens og konvensjonelle metoder




Mange forskjellige datatyper

En overvekt av dagens sikkerhetsforskning relatert til kunstig intelligens fokuserer bare på bilder, men det er nødvendig å ta også andre former for data i betraktning, og ta høyde for at en angriper kan kombinere forskjellige datatyper.





Mange forskjellige paradigmer for kunstig intelligens

En overvekt av dagens sikkerhetsforskning fokuserer bare på dype nevrale nett, og overser tradisjonelle kunstig intelligens algoritmer som brukes i praksis.





Bli bedre kjent med angriperen

Sikkerhetsforskning tar i liten grad hensyn til kostnaden forbundet med angrep og forsvar, og hvilke måter trusselen fra kunstig intelligens kan manifesteres i et angrep.





Mange forskjellige angrepstyper mot livssyklusen til kunstig intelligens

Dagens forskning ser i liten grad på helhetsbildet, men fokuserer på isolerte enkeltstadier i livssyklusen.





Sikring av leverandørkjeden til kunstig intelligens

Det er for lite fokus på beskyttelse av immaterielle rettigheter, og beskyttelse mot sårbarheter i hvert ledd av kjeden.






Utfordring 2: Kunstig intelligens i den virkelige verden




Vurdering av konsekvenser og gjennomførbarhet av trusler relatert til kunstig intelligens i den virkelige verden

Det er i dag i liten grad eksperimenter på virkelige systemer med kunstig intelligens, men forskere utfører i stedet angrep på “hjemmelagde” løsninger.





Ta hele kjeden til systemer med kunstig intelligens i betraktning

Det er i dag utfordrende å gjenskape hele kjeden, ettersom de forskjellige elementene ikke er offentlig tilgjengelige.






Utfordring 3: Den menneskelige faktor




Manglende vurdering av konsekvenser av trusler fra kunstig intelligens på mennesker

Dagens forskning tar i liten grad høyde for å studere hvordan mennesker reagerer på potensielt uriktige resultater fra kunstig intelligens






Utfordring 4: Konseptglidning




Ettersom miljøer utvikler seg, kan systemer med kunstig intelligens oppleve tilsvarende evolusjon , med degradering av sikkerhetsegenskaper som en mulig konsekvens

Dagens sikkerhetsforskning fokuserer primært på systemer med kunstig intelligens som må læres opp med datasett, men i framtiden må det også forskes på systemer som er selv-lærende.





Maskinlæringssystemer er iboende probabilistiske , slik at hvis man dytter samme data inn to ganger, vil man ikke få samme resultat

Vi trenger nye testmetoder som bedre kan detektere bevisste forsøk på misbruk.






Utfordring 5: Overføringsverdi av angrep




Trusler relatert til kunstig intelligens kan være overførbare til andre modeller

Vi trenger mer forskning på i hvilken grad angrep kan overføres til andre maskinlæringsmodeller. Når maskinlæringsmodeller trenes i et miljø og så rulles ut i et annet miljø, kan eventuelle uønskede bivirkninger også overføres, f.eks. via forgiftede forhåndstrente modeller.






Utfordring 6: Samvirke og avveininger mellom sikkerhet og prinsipper for tillit til kunstig intelligens




Tiltro til kunstig intelligens er basert på en blanding av flere forskjellige prinsipper (trygghet og pålitelighet; personvern og styring av databruk; rettferdighet og ikke-diskriminering; samfunnsmessig og miljømessig velvære; mulighet til å utfordre resultater; ansvarlighet; transparens og forklarbarhet)

Dagens forskning fokuserer i stor grad på å vurdere prinsippene hver for seg.





Hvordan kan vi kvantifisere og adressere sosiale og sosio-tekniske trusler?

F.eks. for motvirkning av spredning av feilinformasjon, “deepfakes”, bevaring av individuelle rettigheter og samfunnsmessige verdier






Vi tar gjerne utfordringen!



Vi har allerede identifisert mange konkrete forskningsmål for å svare på disse utfordringene, og har som ambisjon å bidra til minst ett av de forespeilede forskningssentrene innen kunstig intelligens. Følg med utover høsten!



Med bidrag fra Ravi Borgaonkar m.fl.



Illustrasjon av https://midjourney.co/generator