We besteden altijd veel aandacht aan het vindbaar maken van je website. Maar in sommige gevallen wil je juist dat je website (tijdelijk) niet gevonden wordt. Bijvoorbeeld als het om een site gaat die nog in ontwikkeling is. WordPress had al een methode om te voorkomen dat zoekmachines sites indexeren wanneer dit niet gewenst is. Helaas werkte dat niet altijd even goed. Met WordPress 5.3 gaan ze die methode verbeteren.
Indexeren door zoekmachines voorkomen
Voorheen was het zo dat als je bij Instellingen > Lezen de optie ‘Blokkeer zoekmachines om deze site te indexeren’ aanvinkte, WordPress een klein stukje code aan het robots.txt bestand toevoegde:
Disallow: /
Dit voorkwam crawlen door bots, maar kon niet altijd voorkomen dat de betreffende websites in de zoekresultaten opdoken.
Jono Alderson vatte het probleem samen en stelde een oplossing voor in een reactie op de trac ticket:
“De Lezen instelling suggereert dat het de bedoeling is om te voorkomen dat zoekmachines de content indexeren in plaats van te crawlen. Maar de aanwezigheid van de robots disallow regel voorkomt dat zoekmachines het noindex directive kunnen ontdekken, waardoor ze dus wel ‘fragmenten’ kunnen indexeren (waar de pagina zonder content geïndexeerd wordt). Google heeft recentelijk aangekondigd dat ze werken aan het voorkomen van fragment indexing. Maar tot het zover is (en ik weet niet of dat gaat gebeuren; het is soms een noodzakelijke/juiste oplossing), moeten we een oplossing vinden voor het huidige gedrag. Laten we de robots.txt disallow regel verwijderen en Google (en andere zoekmachines) toestaan de site te crawlen.”
Robots meta tag
Met ingang van WordPress 5.3 zal WordPress de robots.txt methode laten vallen. In plaats daarvan wordt een nieuwe robots meta tag toegevoegd om te voorkomen dat de site wordt geïndexeerd:
<meta name='robots' content='noindex,nofollow' />
Deze meta tag biedt een veel betrouwbaardere manier om crawlen en indexeren door zoekmachines te voorkomen.
