Hvordan kan søkemotorene gjennomsøke Internett så fort?

Søketjenestene på nettet gjennomsøker milliarder av nettsider på noen få sekunder. Hvordan?

1. september 2009

Internett omfatter i dag over 100 milliarder sider. Hvis søkemotorene skulle gjennomsøke alle hver gang de fikk en forespørsel, ville det ta mange uker før vi fikk svar. For å spare tid har de forskjellige søketjenestene som Yahoo eller Google på forhånd opprettet gigantiske databaser over alle fornuftige søkeord, samt lister over nettsteder der ordet forekommer. Hvis en bruker taster inn ”Jupiter”, vil søkemotoren slå opp i sin database under ”Jupiter” og finne adressene på de tusenvis av nettsteder som inneholder ordet. Hvis brukeren taster inn ”Jupiter” og ”Galileo,” vil søkemotoren finne de stedene som er oppført både på Jupiter- og Galileo-listen. Hvilke nettsteder som havner øverst på listen, varierer fra søketjeneste til søketjeneste. Noen legger vekt på at søkeordet forekommer mange ganger, andre legger større vekt på antall lenker til nettstedet. Arbeidet er for møysommelig og tidkrevende til at mennesker kan opprette og vedlikeholde databasene. Derfor bruker de fleste søketjenestene et dataprogram, en såkalt crawler, en leterobot som automatisk gnager seg gjennom samtlige ord på flest mulig av nettstedene på Internett. Programmet finner nye sider ved å følge lenker fra allerede kjente nettsteder, eller ved å bruke data som eierne av nettstedene har innlevert til søketjenesten. Når først crawleren er satt i gang, arbeider den helt uavhengig av mennesker. Dag og natt skanner den seg gjennom hundre milliarder ord, og når den er ferdig, begynner den forfra igjen. Det er den nødt til – nettet endrer seg fra minutt til minutt, så en database som er flere måneder gammel, er håpløst foreldet.

Les også

Kanskje du er interessert i...

FÅ ILLUSTRERT VITENSKAPS NYHETSBREV

Du får ditt gratis spesialtillegg, Vår Ekstreme Hjerne, til nedlasting straks du har meldt deg på nyhetsbrevet.

Fant du ikke det du lette etter? Søk her: