Wat is de meta robots tag?

Informatie over de  meta robots tag

De meta robots tag geeft aanwijzingen aan de zoekmachine over het crawlen.
Dit zijn trouwens opdrachten die niet altijd worden opgevolgd door zoekmachines.
Zo kan met de no-index tag worden aangegeven dat een bepaalde pagina, of zelfs de gehele website niet geïndexeerd moet worden.
Voorbeelden van een pagina waar dit voor geldt is bijvoorbeeld de pagina met het winkelmandje.
Het kan, zeker voor grotere site van belang zijn om deze pagina’s uit te sluiten, zodat het crawl budget niet verloren gaat aan dit soort pagina’s.

Voor andere websites zoals bijvoorbeeld een besloten forum, die geheel niet geïndexeerd wil worden is de volgende tag beschikbaar :Let op:Wordt er geen meta robot bestand gebruikt dan wordt de website automatisch geïndexeerd en worden de links gevolgd.