Alles wat je moet weten over robots.txt

Zoekmachines crawlen automatisch je gehele website. Het is echter niet altijd even handig om alle pagina's van je website in de zoekresultaten te laten vertonen. Met een simpel tekstbestandje, zogenaamd het robots.txt bestand, kun je voorkomen dat pagina's worden weergegeven in de zoekresultaten. Het is dan ook niet onbelangrijk dat je goed omgaat met het bestand. In dit artikel leggen we je uit wat het robots.txt bestand is, waarom je hem moet gebruiken, hoe je robots.txt instelt en test in Google Webmaster Tools.

Vragen over robots.txt? Neem contact met ons op!

Martijn vertelt je graag meer over de mogelijkheden die we op deze pagina beschrijven. Hij bekijkt direct je webshop en kan daardoor snel aangeven welke vorm van advies bij jouw webshop past. Neem eenvoudig contact met ons op.

Wat is robots.txt?

Met het robots.txt bestand kun je voorkomen dat bepaalde pagina's van je website worden gecrawld door zoekmachinerobots, bijvoorbeeld de Googlebot. Daarmee geef je aan dat je deze pagina's niet wilt laten weergeven in de zoekresultaten. Het robots.txt tekstbestand dient geplaatst te worden op het hoofdniveau (de root folder) van je website: www.website.nl/robots.txt.

Waarom gebruiken?

Voor veel websites is het robots.txt bestand overbodig: zij willen 'gewoon' dat al hun pagina's geïndexeerd worden en in dat geval hoef je geen robots.txt bestand aan te maken. Er zijn echter verschillende redenen waarom je robots.txt wel wilt gebruiken in het kader van SEO. Het is erg belangrijk dat je dit met zorgvuldigheid doet, want je wilt voorkomen dat delen van je website niet verschijnen in de zoekresultaten terwijl je met deze pagina's juist wel bezoekers wilt genereren. Het belangrijkste doel van het gebruik van robots.txt is pagina's uit te sluiten die je liever niet in de zoekmachines wil laten vertonen, meestal om problemen op het gebied van duplicate content op te lossen. Het heeft immers geen zin om compleet dezelfde pagina's in de zoekresultaten te laten vertonen en bovendien moet je dit ook niet willen gezien Google ook geen fan is van duplicate content. Let op: in veel gevallen is het gebruik van een canonical url een betere optie om duplicate content op te lossen. Het uitsluiten van pagina's in het robots.txt bestand is wel aan te raden wanneer er een extreem groot aantal URL's gecrawld worden. Dit extreem groot aantal URL's ontstaat vaak door filters: zij zorgen voor legio URL's die (vrijwel) identieke content bevatten. Hetzelfde geldt voor sorteringsopties of parameters die ontstaan als gevolg van de webshop software die je gebruikt.

Hoe stel ik robots.txt in?

Om robots.txt correct in te stellen dien je gebruik te maken van een aantal standaard regels. Sitemap: hiermee vertel je de bots wat de locatie van je sitemap is. Sitemap: http://www.website.nl/sitemap.xl User-agent: hiermee geef je aan voor welke zoekmachinerobots de daaropvolgende instructies gelden. Wanneer de instructies van toepassing zijn op alle zoekmachinerobots gebruik je een asterix: User-agent: * Disallow: het URL-pad dat je wilt blokkeren. Je kunt zoveel disallow-regels opgeven als je wilt. Met een asterix geef je aan dat alle URL's met dat URL-pad niet gecrawld moeten worden. Een aantal voorbeelden. Hiermee blokkeer je je hele website: Disallow: / Als volgt blokkeer je een bepaalde pagina: Disallow: /voorbeeld-pagina En zo blokkeer je alle URL's met de parameter kleur: Disallow: /*kleur

Robots.txt testen in webmaster tools

Recent heeft Google het testen van het robots.txt bestand eenvoudiger gemaakt. Ga in webmaster tools via crawlen naar 'robots.txt-tester. Hier vind je de laatste versie van het txt-bestand dat Google heeft gecrawld. Je kunt nu een URL opgeven en testen of hij door jouw huidige robots.txt bestand toegelaten wordt of geblokkeerd. Wanneer de URL geblokkeerd wordt door een regel die je hebt ingevoerd geeft Google in Webmaster Tools aan door welke regel de URL geblokkeerd wordt. De robots.txt-tester geeft tevens informatie over oudere versies van je robots.txt zodat je mogelijke eerdere problemen met indexatie van pagina's op kunt sporen.
job-image
10 Manieren om je webshop sneller te maken
27 februari 2020
Lees Meer
job-image
50 conversie tips: verbeter je conversiepercentage
19 februari 2020
Lees Meer
job-image
Webwinkel Vakdagen 2020
23 januari 2020
Lees Meer

Nieuwsbrief

MEER WETEN? STEL ONS JE VRAAG!

+31 85 2100 818 info@evoworks.nl