Kort fortalt så brukes robot.txt filen til å gi instruksjoner til hva webcrawlere/søkeroboter skal ha tilgang til og hva de ikke skal ha tilgang til (hva som skal indekseres/ikke indekseres)
Denne filen er ikke noe som ligger automatisk på alle servere og er evt. noe man må opprette på egenhånd. Dersom du vil at søkemotorene skal ha tilgang til alt på siden din, så ser en robot.txt fil ut slik:
Dersom du skal la alle roboter ha tilgang til alt, er det ingen vits i å lage en fil med det står angitt over, for så lenge ikke det ligger en robots.txt fil med begrensninger, så antar alle "roboter" at de har tilgang til alt.
Du finner det meste du trenger å vite her:
The Web Robots Pages