gjemme enkeltside robots.txt

[Tonny Kluften]

Blir dette riktig å bruke i robots.txt når man skal hindre indeksering av en enkeltside i Wordpress?

User-agent: *
Disallow: /navnpaaside
Disallow: /navnpaaside/

 

[Lag-en-hjemmeside]

Blir dette riktig å bruke i robots.txt når man skal hindre indeksering av en enkeltside i Wordpress?

User-agent: *
Disallow: /navnpaaside
Disallow: /navnpaaside/

Den øverste, Disallow: /navnpaaside, vil hindre indeksering av alle filer/mapper med det navnet. Om du har en fil/mappe i rotmappen som heter navnpaaside eller navnpaasider vil begge bli ekskludert. Dropper du / til slutt fungerer det altså som en slags wildcard. Den nederste linjen vil kun ekskludere det som ligger i mappen /navnpaaside/. Om det bare er en fil du skal ekskludere skriver du inn stien og navnet på filen, for eksempel /navnpaaside.html.

 

[picxx]

FYI: Bot's crawler url'er, de crawler ikke fysiske mapper som ligger på serveren.

 

[Lag-en-hjemmeside]

FYI: Bot's crawler url'er, de crawler ikke fysiske mapper som ligger på serveren.

OK, kanskje litt slurvete skrevet, jeg mente jo selvsagt filene i mappen, ikke selve mappen.