Du føler deg dårlig, men i stedet for å bestille tid hos legen trekker du mobilen opp av lommen og sier: «Hei Siri, er det noe galt med meg?» På et øyeblikk forteller den personlige assistenten om du har covid-19, er deprimert eller lider av parkinson.

Det er stemmen din som avslører hva som er galt, og det har leger faktisk brukt i mange år.

Et av kriteriene for å stille diagnosen bipolar lidelse er for eksempel at pasientene i den maniske fasen snakker mye og raskt, mens en hes og snøvlende stemme er et opplagt tegn på halsbetennelse eller forkjølelse.

Men stemmen har mange flere nyanser, som endrer seg i forbindelse med en lang rekke sykdommer, og endringene er ofte så små at legene ikke kan høre forskjell.

Derfor har de begynt å få hjelp fra avanserte algoritmer som bruker kunstig intelligens til å analysere pasientens stemme og lete etter unormale mønstre i stemmeføring, toneleie, talehastighet og ordvalg.

Israelske forskere arbeider med en app som ved å lytte til hjertepasienters stemme kan vurdere om pasientenes sykdom holder på å utvikle seg kritisk, slik at de trenger umiddelbar legehjelp.

© Shutterstock/Ken Ikeda Madsen

Pasienten besvarer spørsmål

Pasienten aktiverer appen som ber vedkommende svare på tilfeldige spørsmål. Appen tar opp svaret og stopper så snart den har registrert 20 sekunder av stemmen – uavhengig av hva vedkommende har sagt.

© Elad Maor et al./JAHA

Stemmedetaljer former bilde

Appen leter etter 223 karakteristiske detaljer i stemmeføringen. Det er for eksempel variasjoner i tonehøyde eller volum kombinert med en skjelvende stemme. Detaljene blir lagt inn i en matrise med fargekoder.

© Shutterstock/Ken Ikeda Madsen

Appen stiller diagnose

Kunstig intelligens sammenligner bildet av pasientens stemme med tusener av stemmebilder fra andre pasienter med kjente diagnoser og sykdomsforløp. Den mest sannsynlige diagnosen for pasienten blir fastlagt.

Ved å sammenligne stemmemønstre fra tusenvis av friske og syke personer kan algoritmene lære å kjenne forskjell og peke ut akkurat de detaljene i stemmen som avslører om man lider av en hjertesykdom, har migrene eller har økt risiko for selvmord.

Kunstig intelligens lytter

Allerede i 2017 søkte bedriften Amazon om en patent på en teknologi som ut fra stemmeanalyse gjør firmaets personlige assistent, Alexa, i stand til å avgjøre om en person har vondt i halsen.

Av patentet framgår det at Amazon i så fall kan vise brukeren reklame for forkjølelsesmedisin eller tilby vedkommende å kjøpe medisiner med levering innen en time. Heldigvis er det ikke bare kommersielle interesser som driver utviklingen for sammenhengen mellom stemme og helse.

Når personer ringer til nødnummeret, er de ofte paniske og forvirret, slik at operatøren på alarmsentralen kan ha problemer med å forstå hva problemet er, og hvor alvorlig det er. Derfor har det danske startupfirmaet Corti utviklet en algoritme som lytter til slike samtaler.

Forskerne kunne med 99 prosent sikkerhet avgjøre om en person hadde parkinson eller ikke, bare ved å høre etter når vedkommende sa «ahhh».

Alarmsystemets kunstige intelligens søker i sanntid etter mønstre i ord og vendinger som tyder på hjertestans, og informerer akuttberedskapen hvis de opptrer.

I fellesskap kan menneske og maskin på den måten identifisere 95 prosent av de samtalene som dreier seg om hjertestans, mens det bare gjelder 73 prosent når personen ikke får hjelp fra den kunstige intelligensen.

En stavelse avslører parkinson

Mens systemet til Corti er basert på ordvalg og dermed avspeiler personens sinnstilstand, lytter andre systemer i stedet etter selve stemmen og er i prinsippet ikke interessert i hva som blir sagt.

Mange sykdommer påvirker nemlig på den ene eller andre måten evnen til å uttale ord. Forkjølelse infiserer stemmebåndene og gir heshet, mens forfrysninger i leppene fører til lesping. På tilsvarende vis påvirker parkinson mange aspekter av taleevnen.

Bevegelsene til parkinsonpasienter er svakere, langsommere og mer rykkvise, og det gjelder også tungen. Talen blir langsommere og lavere, stemmen begynner å skjelve, og pasienten uttaler bestemte stavelser på en annen måte.

Siden verken laboratorieanalyser, for eksempel blodprøver, eller hjerneskanninger kan stille en sikker parkinsondiagnose, har en rekke forskere begynt å undersøke om stemmeanalyser kan løse oppgaven.

Allerede i 2012 tok forskere fra University of Oxford i Storbritannia opp lyd av 10 friske personer og 33 pasienter med parkinson, mens de sa stavelsen «ahhh».

Ved hjelp av dataprogrammer til stemmeanalyse identifiserte forskerne ikke mindre enn 132 ulike detaljer i måten å uttale den ene stavelsen på. Da forskerne sammenlignet de 132 detaljene i stemmen mellom samtlige 43 forsøkspersoner, kunne de peke ut 10 fonetiske detaljer i stavelsen der de friske personene og pasientene med parkinson avvek fra hverandre.

Kunstig intelligens redder liv

Leger må analysere store mengder helsedata og finne detaljer i skanningsbilder for å stille en korrekt diagnose. Med kunstig intelligens kan en datamaskin raskt hjelpe legen til å stille bedre diagnoser.

Forskjellen var så markant at forskerne med 99 prosent sikkerhet kunne avgjøre om en person hadde parkinson eller ikke, bare ved å høre etter når vedkommende sa «ahhh».

Alzheimer fører til sløv tale

Alzheimer er en annen utbredt hjernesykdom som kan avsløres på stemmen. Disse pasientene har problemer med å finne de riktige ordene, slik at det oppstår pauser mellom dem. Dessuten bruker pasientene ofte av pronomen som for eksempel «han» i stedet for personens navn, samt generelle ord som «hus» i stedet for spesifikke betegnelser som «villa» eller «rekkehus».

Forskere fra University of Toronto i Canada utførte i 2016 et forsøk med 167 pasienter med alzheimer samt 97 friske kontrollpersoner. Med sine egne ord skulle forsøkspersonene i løpet av 45 sekunder beskrive så mange detaljer som mulig av en tegning der man ser noen barn stjele kaker fra et skap, mens mor står og vasker opp.

Forskerne stilte opp 400 ulike parametere for forsøkspersonenes beskrivelser. Det kunne for eksempel være om de hadde brukt ordet «mor», hvor mange verb de brukte, hvor lange ordene var i gjennomsnitt, hvor raskt stavelsene ble uttalt etter hverandre, og så videre.

Datamaskinen gjør det vanlige stemmeopptaket om til et diagram, slik at kunstig intelligens har bedre muligheter for å analysere og sammenligne detaljer. Nå kan datamaskinen sammenligne opptak med snøvlende, mangelfull eller tynget tale med opptak av friske personer.

© Zhaocheng Huang/UNSW/Ken Ikeda Madsen

Friske stemmer er livligere

Toneleiet og ordvalget i stemmene til friske mennesker er i utgangspunkt livlig, sprudlende og inneholder mer presise formuleringer. Den kunnskapen kan brukes til å sammenligne stemmene til friske personer med stemmen fra en pasient som har fått en diagnose eller har blitt syk.

© Zhaocheng Huang/UNSW/Ken Ikeda Madsen

Depressiv stemme er monoton

Stemmeføringen hos personer som lider av depresjon, har typisk et mer monotont tonelag – altså færre variasjoner i antallet svingninger, også kjent som frekvensen. Fargekodene uttrykker stemmens volum. Jo mørkere farge, og jo mer mørklilla, jo flere desibel.

En datamaskin ble deretter satt til å sammenligne hvordan parametrene hadde blitt oppfylt hos henholdsvis de friske og de syke personene. Datamaskinen brukte maskinlæring til å lete etter mønstre eller sammenhenger i dataene som skilte de to gruppene av forsøkspersoner.

Da læringsprosessen var slutt, kunne den kunstige intelligensen med 82 prosent sikkerhet avgjøre om en person hadde alzheimer eller ikke, bare ved å se på 35 av de 400 parametrene. Siden 2016 har forskerne forbedret algoritmene sine, slik at den kunstige intelligensen nå kan diagnostisere alzheimer med en sikkerhet på 92 prosent.

Covid-19 avsløres med host

Helt siden koronapandemien brøt ut i begynnelsen av 2020, har forskere overalt i verden ikke bare arbeidet for å utvikle en vaksine, de har også vært i et sant kappløp om å nå først i mål med en app til mobilen som kan stille diagnosen covid-19 bare ved at man snakker eller hoster inn i mikrofonen.

Blant deltakerne i kappløpet er en forskergruppe fra Massachusetts Institute of Technology (MIT) i Cambridge i USA. I september 2020 publiserte de et system som hadde lært å finne forskjell når friske personer og personer med en covid-diagnose hostet inn i en mikrofon.

🎬 Forskere oppdager kreft ved hjelp av maskinlæring

Den kunstige intelligensens nevrale nettverk hadde lyttet til hosting fra 4256 personer og øvet seg på å høre forskjell på hvem som var friske eller syke. Deretter presenterte forskerne systemet for hostelyder fra 1064 nye personer, og blant dem kunne det nevrale nettverket på et øyeblikk stille den korrekte diagnosen i 97 prosent av tilfellene.

Hostetesten er dermed nesten like pålitelig som den såkalte PCR-testen som myndigheter verden over nå bruker til å teste befolkningen med for covid-19. Men PCR-testen koster omkring 200 kroner å utføre, krever et personlig frammøte og tar to døgn å gjennomføre. Hostetesten er gratis, kan utføres hjemme og gir svar øyeblikkelig.

Forskerne fra MIT arbeider fortsatt med å finpusse appen slik at den blir enda mer pålitelig og kan oppnå myndighetenes godkjenning, men så skulle den også være klar til å bli lastet ned til mobiler overalt i verden.

Deretter vil andre apper kunne følge opp og gjøre det mulig å diagnostisere seg selv for all verdens sykdommer bare ved å spørre mobilens personlige assistent hva man feiler.