Jeg har lenge undret meg over hvordan Google detekterer endringer på mine nettsider og indekserer nytt innhold. Spesielt er Google News veldig rask til å snappe opp nytt innhold. Normalt tar det ikke mer enn 15-20 minutter før den nye siden er å finne i indeksen og i dag opplevde jeg at et nytt blogginnlegg jeg skrev var å finne i Google News mindre enn 2 minutter senere.
Hvordan gjør Google dette? Betyr den raske indekseringen at Google har en spider som er innen om siten 10-20 ganger eller mer i timen? Isåfall er dette vel noe som genererer en hel del trafikk bare for å foreta indekseringen.
Hvordan gjør Google dette? Betyr den raske indekseringen at Google har en spider som er innen om siten 10-20 ganger eller mer i timen? Isåfall er dette vel noe som genererer en hel del trafikk bare for å foreta indekseringen.