Mens akkordene fra Pink Floyds «Another Brick in the Wall» fylte rommet, registrerte hjerneforskere fra California-universitetet i Berkeley aktiviteten fra de 2668 elektrodene de hadde fordelt på hjernen av 29 epilepsipasienter.
Formålet var å gjenskape det pasientene hørte ved å fange opp aktivitet i de områdene av hjernen som blant annet registrerer melodi og rytme.
Og nå, mer enn et tiår senere, er det for første gang klarte ) forskere å oversette hjernebølger til en gjenkjennelig sang.
Forskerne gjenskapte sangen ved å trene en kunstig intelligens til å analysere såkalte nevrale mønstre i pasientenes hjerne mens musikken ble spilt.
Elektrodene overvåket aktivitet fra pasientenes såkalte auditive cortex – et område i hjernen som bearbeider alle aspekter av lyd vi mennesker hører.
Ved å sammenligne hjerneaktiviteten i nettopp det området med lydene i sangen oppdaget ikke forskerne bare nevrale mønstre forbundet med spesielle ord, men også med tone, rytmer og intonasjon.
Med den informasjonen utviklet forskerne en datamodell som kunne avkode sammenhenger mellom sangen og det som foregikk i pasientenes auditive cortex.
Kunstig intelligens gir hjernen et instrument
Fordi datamodellen etter hvert kunne kjenne igjen hvilke mønstre i hjerneaktiviteten som svarte til hvilke musikalske trekk, kunne forskerne til slutt rekonstruere hjernens egen versjon av den legendariske hiten i et spektrogram som er en grafisk avbildning av lyder som blant annet viser lydes frekvens, lengde og volum.
Sangens rytme og melodi virker intakt i den gjenskapte sangen.
Og selv om ordene er uklare, kommer setningen «All in all, it’s just another brick in the wall» igjennom. Hvis man vet hva som kommer, er sangen gjenkjennelig.
Kort lydklipp av Pink Floyd-sangen «Another Brick in the Wall» spilt av for forsøkspersonene
Rekonstruksjon av sangen ut fra elektrisk aktivitet i hjernens hørselsbark
– Det høres litt ut som om de snakker under vannet, men det er bare første forsøk. Potensialet er enormt, sier Robert Knight, som er nevrolog og professor i psykologi ved universitetet i Berkeley, i en pressemelding.
Forskerne har som mål å utvikle teknologi som gjør det mulig for pasienter som har mistet evnen til å snakke å kommunisere mer naturlig.
– Ved å forstå hvordan hjernen representerer de musikalske elementene i tale, inkludert tone, rytme og volum, kan vi lage taleapparater som lyder mindre robotaktige, sier Knight.