Donald Trump er en total idiot», sier USAs tidligere president Barack Obama i en video fra 2018. Obama har imidlertid aldri ytret de ordene. Stemmen i videoen blir imitert av den amerikanske komikeren Jordan Peele, mens ansikt og mimikk blir skapt av en kunstig intelligens.
Videoen ble laget for å illustrere hvor lett det er å lure seerne med såkalte deepfakes – levende bilder og lyd skapt til å manipulere brukerne med feilinformasjon.
VIDEO: Se Barack Obama bli utsatt for deepfake her
I 2018 laget det amerikanske nyhetsnettstedet BuzzFeed en deepfakevideo av Barack Obama i samarbeid med komikeren Jordan Peele som imiterer den tidligere presidentens stemme. Videoen ble laget for å vise folk hvor lett det er å manipulere folk med ny teknologi.
I dag er deepfakes mer utbredte enn noen gang, og teknologien har blitt så god at det etter hvert er umulig å avsløre de falske videoene med det blotte øye. Nå forsøker teknologibedrifter å nøytralisere deepfakes ved å bruke sine egne algoritmer som våpen.
Teknologifirmaer vil avsløre deepfakes
Deepfakes er basert på kunstig intelligens som skaper en digital kopi av en person – for eksempel Barack Obama – ved hjelp av en stor mengde bilder, videoer og lyd av personen.
Som en slags digital dukkefører kan bakmennene få ofrene i videoene til å si og gjøre hva som helst. I dag har manipulasjonen blitt så god at det nesten er umulig å oppdage.
Det er imidlertid ikke bare politikere som får gjennomgå.
I 2019 klarte kriminelle å svindle et britisk energiselskap for over 1,6 millioner kroner ved hjelp av en deepfake som etterlignet direktørens stemme.
Året etter spredte klimaaktivistgruppen Extinction Rebellion en deepfake av den belgiske statsministeren som koblet klimakrisen med covid-19.
Slik oppdager du en deepfake
Videoen med den falske Barack Obama kan brukes som lærebok til å avsløre deepfakes ved å fokusere på særlig tre ansiktstrekk.
Øynene bør blunke
En deepfake er satt sammen av en masse bilder og videoer som datamaskinen forsøker å sette sammen til en troverdig helhet. Noen ganger kan det oppstå små avvik i øyebevegelsene som virker unaturlige for seeren – for eksempel at øynene plutselig ser vekk fra kameraet eller at personen i videoen aldri blunker. I Obama-videoen er de feilene rettet.
Tinninger må ikke være pikselert
Nettopp fordi deepfakes typisk er konstruert på å skifte ut ansiktene, kan små uregelmessigheter i kanten av ansiktet avsløre svindelen. Ved Obamas venstre tinning er det mulig å se hvordan håret noen ganger beveger seg litt, nærmest i hopp, selv om Obama ikke beveger seg selv.
Munnen bør ta pauser
Hvis munnen er i konstant bevegelse, sniker avslørende feil seg også lettere inn i videoen, ettersom munnbevegelsene ikke kan følge 100 prosent med ordene og derfor virker synkroniserte. Mange deepfakes har også problemer med å gjengi tennene troverdig. I Obama-videoen ser det noen ganger ut som om tennene smelter sammen med underleppen.
Er det opp til noen av verdens største teknologibedrifter, vil deepfakes imidlertid snart høre til fortiden.
Google og Facebook har satt av tosifrede millionbeløp til å fange opp og fjerne de falske videoene før de kan gjøre skade.
Og det nederlandske firmaet Deeptrace har allerede hatt stor suksess med å eliminere falske videoer ved å forfølge en helt enkel idé: Teknologien bak deepfakes skal snus mot seg selv.
Algoritme leker politibetjent
Deepfakes er basert på kunstig intelligens: to algoritmer forbundet i et såkalt generative adversarial network (GAN), i konstant kamp mot hverandre.
Den ene er den kreative algoritmen. Den analyserer store mengder data av den personen som skal etterlignes. Algoritmen lagrer ansiktstrekk, hår, skygger og så videre i ulike vinkler og lager til slutt en kandidat til en deepfake.
Algoritme nummer to kontrollerer arbeidet og fungerer som politibetjent. Algoritmen analyserer detaljer som feilplasserte piksler, hvordan selve ansiktet beveger seg i forhold til hodet og lignende. Finner kontrollalgoritmen feil, rapporterer den det tilbake til en kreativ algoritme, som blir satt til å rette feilene og lage en ny, forbedret kandidat.
Den kreative algoritmen skal altså til eksamen hos den kontrollerende algoritmen, og først når den kontrollerende algoritmen ikke lenger vurderer videoen som falsk, er videoen ferdig.
Kreativ algoritme spiser seg gjennom data
En kreativ algoritme blir fôret med store mengder video-, lyd- og billeddata av en person. Jo mer bildemateriale, jo flere vinkler, og jo bedre oppløsning det finnes av personen, jo bedre blir algoritmen i stand til å løse oppgaven.
En kandidat til en deepfake blir skapt
Algoritmen smelter sammen lyd og munnbevegelser fra et annet snakkende ansikt med originalen. Ut fra den store mengden visuelle data skaper algoritmen de mest naturlige ansiktstrekkene i form av for eksempel hår, skygger og øyne. Resultatet blir deretter sendt videre til godkjenning hos den kontrollerende algoritmen.
Kontrollerende algoritme er politibetjent
Den kontrollerende algoritmen vurderer arbeidet ved å gå detaljert gjennom alt det som kan være problematisk. Den sjekker om personen blunker, om munnen beveger seg naturlig, om de små pikslene ser naturlige ut – og lignende.
Prosessen blir gjentatt
Den kreative algoritmen får tilbakemeldinger som lister opp feil – for eksempel piksler som hakker litt i kanten av et ansikt. Algoritmen går deretter i gang med å glatte ut den delen av ansiktet og arbeider seg gjennom de ulike feilene. Til slutt sender den en ny utgave til den kontrollerende algoritmen. Prosessen fortsetter inntil den kontrollerende algoritmen er fornøyd.
Djevelen ligger i detaljene
Deepfakes ble for alvor kjent i den bredere offentligheten i 2017, da en bruker på nettstedet Reddit begynte å laste opp videoer, av først og fremst med pornografisk innhold. Like etter kunne brukerne finne videoer der ansiktene av berømte artister som Taylor Swift og Katy Perry var manipulert inn i pornofilmene.
Senere har tusenvis av deepfakevideoer funnet veien til nettet, med innhold som spenner fra det pornografiske til det politiske. Og nå har forskere og bedrifter satt seg som mål å finne en måte å avsløre disse videoene på før de rekker å spre seg.
Det gjelder blant annet det nederlandske firmaet Deeptrace. Firmaet har konstruert en algoritme som skal kontrollere innhold. Algoritmen har blitt fôret med flere tusen timers ekte og falske videoer. Så har den blitt satt til å finne forskjellene.
Ifølge Henry Ajder, sjef for informasjonssikkerhet hos Deeptrace, må de dykke ned i de minste detaljene før de kan avsløre forfalskningene.
«Mange deepfakes kan ikke avsløres av det menneskelige øyet, og feilene ligger derfor typisk på pikselnivå. Algoritmen vår er blant annet trent til å finne piksler som ikke hører hjemme der de er: små klumper av piksler som enten er for mørke eller lyse», forteller Henry Ajder.
En deepfake blir skapt ved å kombinere mange bilder og videoer, og her kan det nettopp snike seg inn feil piksler. Derfor gjennomgår algoritmen hver enkelt piksel i hvert eneste bilde – ofte flere tusen per video – for å finne uoverensstemmelser. Og det har algoritmen virkelig funnet.
I desember 2018 sporet Deeptrace opp over 14 000 videoer på nettet som de klassifiserte som deepfakes. For å finne dem må de hele tiden forbedre seg selv – for det gjør også forfalskningene:
«Bakmennene blir hele tiden flinkere til å konstruere deepfakes, så vi må hele tiden gjøre algoritmen vår flinkere til å finne dem», sier Ajder.
Mimikk kan være akilleshælen
Mens Deeptrace fokuserer på å finne feil i selve kvaliteten på deepfaken – dårlig oppløsning, malplasserte piksler og så videre – har forskeren Shruti Agarwal ved University of California i Berkeley valgt en annen tilnærming.
Hun la merke til at Barack Obama beveget hodet litt opp til høyre eller venstre hver gang han sa «hei alle sammen». Det inspirerte henne til å undersøke om deepfakes kunne etterligne hvordan en person snakker, og hvordan ansiktet beveger seg i forhold til det som blir sagt.
I 2019 ble Facebook-stifter Mark Zuckerberg selv utsatt for digital manipulasjon, da en deepfake med ham selv i hovedrollen florerte på Facebook. I klippet sitter Zuckerberg og innrømmer at han har total kontroll over millioner av menneskers liv og framtid. Facebook har tidligere hatt en politikk om ikke å fjerne videoer fra plattformen sin – selv om det skulle dreide seg om deepfakes. Men nå har pipen fått en annen lyd. I en pressemelding fra januar 2020 skriver Facebook at man nå vil fjerne innhold som bevisst er manipulert for å villede brukerne.
Derfor satte hun et analyseprogram til å kartlegge kjennetegnene bak mimikken hos fem politikere, og det har kanskje avslørt den største akilleshælen til deepfakes. De setter en persons ansiktstrekk på en annen person uten å ta høyde for mimikken.
Agarwals algoritme kunne avsløre 94 prosent av de deepfakevideoene hun kjørte gjennom programmet. Løsningen krever imidlertid en del bilder av personens mimikk, så algoritmen fungerer best ved kjendiser som det allerede finnes mange bilder av.
Jakten er i gang
Teknologien bak deepfakes har utviklet seg til et punkt der avanserte algoritmer må tas i bruk for å avsløre dem. Og i takt med at teknologien forbedres, blir det vanskeligere å oppdage en deepfake før det er for sent.
Derfor har både Google, Facebook og Twitter lansert prosjekter som skal oppdage og fjerne de falske videoene før de rekker å spre feilinformasjonen på nettet.
Facebook har brukt millioner av dollar på å finansiere akademiske institusjoner som har billed- og videoanalyser på programmet og samtidig forsker på hvordan deepfakevideoer kan utryddes.
Google har tatt opp intervjuer med hundrevis av skuespillere som de deretter har konstruert 3000 deepfakes ut fra. Materialet er nå lagt ut på internett, der forskere og IT-spesialister kan bruke dem til å trene algoritmer til å oppdage deepfakes.
Hvis vi skal kunne skille fakta fra fiksjon i framtiden, er det på høy tid at det blir gjort noe med de falske videoene. Som den «falske» Obama sier det i deepfakevideoen fra 2018:
«Det lyder kanskje enkelt nok, men måten vi handler på i framtiden i denne tidsalderen av informasjon, blir forskjellen på om vi overlever, eller om vi blir en eller annen forskrudd dystopi.»