Kjapp og trygg hosting for Wordpress

robots.txt og Adsense-spider

Keanu

Geek
Som de fleste sikkert vet, så bruker google adsense-spiders for å finne relevante annonser for sider. Google har også andre spiders, som indekserer filene. For å begrense hvilke sider google indekserer, bruker vi å forby enkelte sider for disse spiderne i robots.txt.

Det jeg derimot lurer på, er om også adsense-spiderne blir stengt ute. Så langt har jeg trodd dette ikke var noe problem, og at kun indekserings-spiderne var blokkert, men når jeg Webområdediagnostikk i dag, fikk jeg beskjed om:
Blokkert webadresse Blokkeringsårsak [?] Siste forsøk på gjennomgang
http:/ / www. snooze. no/ tags/ view/ Robots.txt Fil 25. apr.. 2008
Altså er adsense-spideren blitt blokkert. Jeg ønsker ikke å endre muligheten for spiders til å tillate de å indeksere tags-sidene, siden det vil føre til mye duplikert innhold på siden.

Finnes det en måte å skrive robots-filen på slik at det blir mulig for adsense-spideren å gå gjennom sidene, men ikke andre? Finner ikke navnet på adsense-spideren når jeg googlet nå, men mulig noen kjenner til det? (derimot fant jeg en del som sier at indeks-spideren også gjør adsense-arbeid, og i såfall vil det jo forklare problemet)

Eller blir jeg nødt til å legge inn "follow, noindex"-instruksjoner på hver side?

Satser på at noen har vært borti samme problemet. :) (og jeg beklager at jeg brukte så mye tekst på å forklare noe så lite)
 

E-bud

Medlem
Googlebot er navnet på den "vanlige" crawleren til Google. Du kan benytte robots.txt til å stenge denne ute fra de områdene du ikke vil at den skal indeksere;

Kode:
User-agent: Googlebot
Allow: /
Disallow: /dennemappenskalikkeindekseres
Disallow: /dennefilenskalikkeindekseres.html
 

Deezire

Medlem
Men jeg har lest litt rundt på nettet og det ryktes at googlebot også gjør en del arbeid for Adsense, så det er nok litt problematisk. Vil tro nofollow er den enkleste metoden i lengen som også vil gi best resultat.
 
Topp