Robots.txt

Met een robots.txt bestand kun je aan zoekmachines laten weten tot welke pagina’s van je website ze toegang hebben en deze mogen crawlen. Een robots.txt dient geplaatst te worden op het hoofdniveau van je website: www.website.nl/robots.txt. De geautomatiseerde robots van zoekmachines controleren voordat ze een site bezoeken of het bestand aanwezig is en zullen de instructies respecteren.

Waarom robots.txt gebruiken

Om verschillende redenen kun je ervoor kiezen om bepaalde pagina’s uit te sluiten voor zoekmachines. Enerzijds kun je daarvoor kiezen wanneer je bepaalde pagina’s niet relevant genoeg vindt voor bezoekers. Anderzijds kun je een robots.txt gebruiken om duplicate content te voorkomen, het aantal gecrawlde pagina’s te beperken en pagina’s met een lage kwaliteit uit te laten sluiten. Veel webshops maken gebruik van een filter, waardoor er duizenden, zo niet tienduizenden verschillende URLs bestaan. In dat geval kan ervoor gekozen worden om een deel van de filterpagina’s uit te sluiten met het robots.txt bestand. Ditzelfde geldt bijvoorbeeld ook voor pagina’s die ontstaan door sortering op prijs of aantal producten.

Instellen van robots.txt

Om een robots.txt in te stellen dien je gebruik te maken van instructies. Met ‘Allow: ..’ geef je aan dat een pagina is toegestaan en met ‘Disallow ..’ sluit je bepaalde pagina’s uit. Met een * geef je aan dat alle pagina’s met een betreffende parameter worden uitgesloten. Wil je bijvoorbeeld alle filterpagina’s die ontstaan wanneer de bezoeker filtert op kleur uitsluiten, dan doe je dit door de volgende instructie aan robots.txt toe te voegen: Disallow: /*kleur=

Robots.txt in Google Webmaster Tools

Met Google Webmaster Tools kun je testen of bepaalde pagina’s die je uit wilt sluiten ook daadwerkelijk worden uitgesloten. Dit doe je door in Webmaster Tools via siteconfiguratie naar crawlertoegang te gaan.

job-image
Dynamisch commissiemodel
11 mei 2016
Lees Meer
job-image
Cookietijd
04 mei 2016
Lees Meer
job-image
Widgets
27 april 2016
Lees Meer

Nieuwsbrief

MEER WETEN? STEL ONS JE VRAAG!

+31 85 2100 818 info@evoworks.nl