Robots metatag en X-Robots-Tag; waarom en hoe gebruik je ze?
Het goed begrijpen en beheren van het crawlen en indexeren van je pagina’s is een zeer belangrijk aspect van SEO. Technische SEO kan behoorlijk ingewikkeld zijn, maar robots meta-tags lijken ingewikkelder dan dat ze zijn. In deze blog lees je wat een metatag is, welke metatags er zijn en hoe je ze toepast.
Inhoudsopgave
Sparren over dit onderwerp?
Laat deze kans niet liggen en neem contact op voor een vrijblijvende performance analyse!
We duiken in het Robots.txt bestand!
Robots metatags worden gebruikt om te bepalen hoe en of een zoekmachine de inhoud van je webpagina indexeert of crawled. In deze blog leggen we uit wat een metatag is, welke er zijn en hoe je ze gebruikt.
Wat is een Robots meta tag
De tags bevatten een stukje HTML-code dat in de <head> sectie van de pagina wordt geplaatst. De tags zijn pagina specifiek en bepalen dus per pagina hoe een zoekmachine de pagina moet indexeren.Een Robots metatag ziet er alsvolgt uit:<meta name="robots" content="noindex" />
Welke Robots metatags zijn er?
Om maar met de deur in huis te vallen, er zijn honderden Robots meta tag combinaties mogelijk. Om te begrijpen welke je moet toepassen gaan we kijken hoe de Robots metatag opgebouwd is. De code bestaat uit twee onderdelen: naam en inhoud.
De naam (meta name) bepaalt dat zoekmachines en bots de instructies in de Robots metatag moeten volgen. Om alle zoekmachines en bots te instrueren gebruik je “robots” (zoals in het vorige voorbeeld).
De inhoud (content) gebruik je om instructies aan de ingevulde meta name te geven. Je kunt de onderstaande instructies toepassen:
- Index: neem de pagina op in de index = <meta name="robots" content="noindex" />
- Noindex: neem de pagina niet op in de index of toon deze niet op de SERP's = <meta name="robots" content="noindex" />
- All: een snelkoppeling om index op te geven, volg = <meta name="robots" content="all" />
- Nofollow: volg niet de links op de pagina = <meta name="robots" content="nofollow" />
- None: noindex, nofollow op te geven = <meta name="robots" content="none" />
- Volgen: volg de links op de pagina om andere pagina's te ontdekken = <meta name="robots" content="follow" />
- Nocache: dit is hetzelfde als noarchive, maar alleen voor MSN = <meta name="robots" content="nocache" />
- Noimageindex: indexeert de afbeeldingen op de pagina niet = <meta name="robots" content="noimageindex" />
- Notranslate: laat geen vertalingen van de pagina op de SERP’s zien = <meta name="robots" content="notranslate" />
- Nopagereadaloud: staat niet toe dat spraakservices uw pagina hardop voorlezen = <meta name="robots" content=" Nopagereadaloud " />
- Noarchive: toont geen cacheversie van de pagina op de SERP's = <meta name="robots" content="noarchive" />
- Unavailable_after: specificeert een tijd waarna de pagina niet moet worden geïndexeerd = <meta name="robots" content="unavailable_after: Sunday, 01-Jan-21 12:34:56 GMT" />
- Nositelinkssearchbox: toon geen zoekvak voor uw site op de SERP's = <meta name="robots" content=" Nositelinkssearchbox " />
Hierboven heb je gelezen hoe je enkele instructies aan de zoekmachines kan geven, maar je kunt de instructies ook combineren. Je kunt gemakkelijk in het “content” gedeelte meerdere instructies combineren. Zie voorbeeld:
<meta name = "robots" content = "noindex, nofollow">
Als er geen Robots metatag is, interpreteren crawlers dat als index en volgen. Dat geeft hen toestemming om de pagina in zoekresultaten weer te geven en alle links op de pagina te crawlen (tenzij anders vermeld met de rel = "nofollow" -tag).
Hoe pas je Robots metatag toe.
Je weet welke metatag je aan welke pagina wilt toevoegen. Maar waar doe je dit? Het plaatsen van een metatag verschilt per CMS systeem dat je gebruikt.
HTML-code:
Als u de HTML-code van uw pagina kunt bewerken, voegt u uw Robots metatag rechtstreeks toe in het <head> gedeelte van de pagina.
WordPress:
Voor WordPress lichten we de twee meest gebruikte plugins toe:
- Rankmath
Als je RankMath gebruikt, kun je de robots instructies die je wilt toepassen rechtstreeks selecteren vanuit de Advanced-tag van de metabox.
- Yoast SEO
Open het tabblad “advanced” in het blok onder de pagina-editor en vul het veld "Meta robots advanced" in.
Shopify:
Als u Robots metatag op Shopify wilt toepassen, moet je dit doen door het-gedeelte van uw theme.liquid-lay-outbestand. Bijvoorbeeld:
{% if handle contains 'page-name' %}
{% endif %}
Wat is een X-Robots-Tag?
De robots metatag is een manier om instructies aan HTML pagina’s te geven. Wat nou als je wilt dat een zoekmachine je afbeeldingen of PDF-bestanden niet indexeert? Met X-Robots-Tag kun je dit instellen.
De X‑Robots-Tag is een HTTP-header die vanaf een webserver wordt verzonden. Hij wordt dus niet in de HTML code van de pagina geplaatst.
Hoe pas ik een X-Robots-Tag toe?
Het instellen van een X-Robots-Tag is afhankeijk van het type webserver dat je gebruikt. De servers Apache en Nginx nemen we als voorbeeld:
Om de x-robots-tag op een Apache-webserver te gebruiken, voeg je het volgende toe aan het .htaccess-bestand of het httpd. config-bestand van uw site.
Header set X-Robots-Tag "noindex, follow"
Om de x-robots-tag op een Nginx server te gebruiken, voeg je het volgende toe aan het httpd. conf-bestand van uw site.
location ~* .pdf$ {add_header X-Robots-Tag "noindex, follow";}
Kortom
Het goed begrijpen en beheren van het crawlen en indexeren van je pagina’s is een zeer belangrijk aspect van SEO. Technische SEO kan behoorlijk ingewikkeld zijn, maar Robots metatags lijken ingewikkelder dan dat ze zijn. Door de Robots meta tags op de juiste manier toe te passen kun je onder andere ongewenste pagina's uit de SERPs houden, bepalen hoe de fragmenten van je pagina’s worden weergegeven en voorkomen dat zoekmachines onnodige links volgen.
Vaak gelezen en bekeken
Chase wordt gevormd door gepassioneerde mensen.
AI Overview komt naar Nederland
In maart 2025 is het officieel: AI Overview komt naar Nederland. Tijdens het Think with Google-event in Amsterdam bevestigde Martijn Bertisen, VP Google Benelux, dat Google’s AI-gegenereerde zoekresultaten binnenkort beschikbaar worden in Nederland en België. In dit artikel lees je wat AI Overview precies is, waarom het relevant is voor jou als marketeer of content creator en wat je nú al kunt doen om je strategie daarop aan te passen.
Duplicate content
SEO-experts blijven de impact van duplicate content op de prestaties van websites onderzoeken en proberen voortdurend inzicht te krijgen in dit fenomeen. Maar wat houdt duplicate content precies in? En welke stappen kun je ondernemen om dit te vermijden? In deze blog ontdek je alle essentiële informatie over dit onderwerp!
Gratis tips & inspiratie
Geheel gratis, omdat we vinden dat je kennis deelt.
Let’s talk
Met slimme strategieën, veel kennis en een flinke dosis doorzettingsvermogen zorgen.