Forsker: Kunstig intelligens diskriminerer kvinner og mørkhudede

Datamaskiner tar feil av kvinner

Spørsmål 1: Du har sammen med Joy Buolamwini fra MIT oppdaget at kunstig intelligens er best til å gjenkjenne hvite menn. Hvordan kom dere fram til det?

Joy Buolamwini gjorde en omfattende gjennomgang av en rekke kommersielle løsninger for ansiktsgjenkjenning. Hun undersøkte spesifikt API-er for gjenkjenning av kjønn – programmer som via et bilde av en person klassifiserer vedkommende som enten mann eller kvinne.

Og det framgikk tydelig at kvinner med mørk hud mye oftere ble tildelt feil kjønn sammenlignet med hvite menn. Hos mennene var feilraten nede på rundt null prosent.

Teknologi avspeiler skaperne

Spørsmål 2: Favoriserer kunstig intelligens hvite menn?

Teknologi avspeiler de menneskene som skaper den, og det samfunnet den eksisterer i. Når man tar i betraktning at kvinner og minoriteter er en sjeldenhet i teknologibransjen, og at nettopp disse gruppene av mennesker fortsatt blir undertrykket over hele verden, er det også forutsigbart at kunstig intelligens favoriserer hvite menn.

Teknologien blir brukt til å befeste makten til de mektige på bekostning av de marginaliserte. Og det er opplagt et problem.

Video: Forstå faren ved diskriminerende teknologi

Programmer øver seg på diskriminerende tekster

Spørsmål 3: Kan du gi et par eksempler på hvordan kunstig intelligens diskriminerer kvinner, bortsett fra ansiktsgjenkjenning?

Et godt eksempel er de store språkmodellene som GPT-3. Språkmodeller er opplært til å fullføre skrevne setninger – på et datasett som består av hundrevis av milliarder ord fra internett, litteratur og andre tekster som er valgt ut av forskerne som står bak GPT-3.

Denne teknologien tar beviselig til seg sexistiske og rasistiske synspunkter som favoriserer den hvite befolkningen og diskriminerer kvinner og marginaliserte grupper.

Kunstig intelligens kan bidra til undertrykkelse

Spørsmål 4: Hvilke negative konsekvenser har det for kvinner generelt at kunstig intelligens diskriminerer dem?

Kunstig intelligens kan i verste fall brukes til å undertrykke kvinners rettigheter og sjikanere dem. Det siste ser vi for eksempel med utbredelsen av falske videoer og bilder – såkalte dypforfalskninger – som støvsuger internett og sosiale medier etter bilder av kvinneansikter og bruker dem til å lage falske pornografiske videoer.

Dessuten er det fare for at kunstig intelligens blir en konservativ kraft som forhindrer samfunnet i å gjøre framskritt – når formålet jo burde være det motsatte.

Nytt institutt skal løse problemene

Spørsmål 5: I 2021 lanserte du instituttet DAIR for å studere kunstig intelligens uavhengig av store teknologibedrifter. Hvordan vil du jobbe for kunstig intelligens som er mindre diskriminerende?

DAIR tar utgangspunkt i mennesker og behovene de har, ikke i teknologien. Kunstig intelligens er ikke uunngåelig. Vi er ikke nødt til å utvikle denne teknologien bare fordi det er mulig. Målet vårt er å jobbe med befolkningen i lokalsamfunn og avdekke hva slags behov de har, før vi eventuelt lager en kunstig intelligens.

Og så må det være mulig å advare folk om skadene ved eksisterende teknologi uten å bli rammet av uberettiget kritikk og fordømmelse, som jeg og min tidligere kollega, Margaret Mitchell, opplevde da vi jobbet for Google.

Diskriminering er ikke et teknisk problem

Spørsmål 6: Du har uttalt at manglene ved kunstig intelligens ikke er tekniske problemer, men et symptom på det miljøet som teknologien er utviklet i. Hvorfor er dette skillet viktig?

I rapporten Fairness and Abstraction in Sociotechnical Systems står det at tekniske løsninger kan være «ineffektive, unøyaktige og noen ganger faretruende uegnede når de opptrer i en samfunnsmessig sammenheng».

Hvis man bare tenker på et teknisk system som et abstrakt begrep og ikke vurderer hvordan det brukes, eller hvem som utvikler det, blir analysen av skadene veldig enøyd. Som et minimum må man stille seg selv spørsmålet: «Bør denne teknologien i det hele tatt eksistere?»

Vi har selv makten til å si stopp

Spørsmål 7: Kunstig intelligens blir fortsatt for det meste skapt av hvite menn. Håper du at teknologien i mindre grad vil favorisere hvite menn i framtiden?

Jeg vil minne folk på at kunstig intelligens ikke er en autonom størrelse som styrer seg selv og ligger utenfor menneskets kontroll. Alt det vi skaper, er styrt av samfunnets motiver og overveielser, og jo bedre vi husker den sannheten, jo bedre blir vi i stand til å lage løsninger som ikke gjør mer skade enn nytte.

Vi har selv makten til å lage en strek i sanden og rope høyt hvis vi mener en bestemt teknologi ikke bør eksistere – eller jobbe for å forandre den slik at den tjener både samfunnet og enkeltmennesket.