Robots metatag en X-Robots-Tag; waarom en hoe gebruik je ze?

Het goed begrijpen en beheren van het crawlen en indexeren van je pagina’s is een zeer belanrijk aspect van SEO. Technische SEO kan behoorlijk ingewikkeld zijn, maar robots meta-tags lijken ingewikkelder dan dat ze zijn. In deze blog lees je wat een metatag is, welke metatags er zijn en hoe je ze toepast.
Robots metatag en X-Robots-Tags; waarom en hoe gebruik je ze?

Robots metatags worden gebruikt om te bepalen hoe en of een zoekmachine de inhoud van je webpagina indexeert of crawled. In deze blog leggen we uit wat een metatag is, welke er zijn en hoe je ze gebruikt.

Wat is een Robots metatag

De tags bevatten een stukje HTML-code dat in de <head> sectie van de pagina wordt geplaatst. De tags zijn pagina specifiek en bepalen dus per pagina hoe een zoekmachine de pagina moet indexeren.

Een Robots metatag ziet er alsvolgt uit:

<meta name=”robots” content=”noindex” />

Welke Robots metatags zijn er?

Om maar met de deur in huis te vallen, er zijn honderden Robots metatag combinaties mogelijk. Om te begrijpen welke je moet toepassen gaan we kijken hoe de Robots metatag opgebouwd is. De code bestaat uit twee onderdelen: naam en inhoud.

De naam (meta name) bepaalt dat zoekmachines en bots de instructies in de Robots metatag moeten volgen. Om alle zoekmachines en bots te instrueren gebruik je “robots” (zoals in het vorige voorbeeld).

De inhoud (content) gebruik je om instructies aan de ingevulde meta name te geven. Je kunt de onderstaande instructies toepassen:

 

Index: neem de pagina op in de index<meta name=”robots” content=”noindex” />
Noindex: neem de pagina niet op in de index of toon deze niet op de SERP’s<meta name=”robots” content=”noindex” />
All: een snelkoppeling om index op te geven, volg<meta name=”robots” content=”all” />
Nofollow: volg niet de links op de pagina<meta name=”robots” content=”nofollow” />
None: noindex, nofollow op te geven<meta name=”robots” content=”none” />
Volgen: volg de links op de pagina om andere pagina’s te ontdekken<meta name=”robots” content=”follow” />
Nocache: dit is hetzelfde als noarchive, maar alleen voor MSN<meta name=”robots” content=”nocache” />
Noimageindex: indexeert de afbeeldingen op de pagina niet<meta name=”robots” content=”noimageindex” />
Notranslate: laat geen vertalingen van de pagina op de SERP’s zien<meta name=”robots” content=”notranslate” />
Nopagereadaloud: staat niet toe dat spraakservices uw pagina hardop voorlezen<meta name=”robots” content=” Nopagereadaloud ” />
Noarchive: toont geen cacheversie van de pagina op de SERP’s<meta name=”robots” content=”noarchive” />
Unavailable_after: specificeert een tijd waarna de pagina niet moet worden geïndexeerd<meta name=”robots” content=”unavailable_after: Sunday, 01-Jan-21 12:34:56 GMT” />
Nositelinkssearchbox: toon geen zoekvak voor uw site op de SERP’s<meta name=”robots” content=” Nositelinkssearchbox ” />

Hierboven heb je gelezen hoe je enkele instructies aan de zoekmachines kan geven, maar je kunt de instructies ook combineren. Je kunt gemakkelijk in het “content” gedeelte meerdere instructies combineren. Zie voorbeeld:

<meta name = “robots” content = “noindex, nofollow”>

Als er geen Robots metatag is, interpreteren crawlers dat als index en volgen. Dat geeft hen toestemming om de pagina in zoekresultaten weer te geven en alle links op de pagina te crawlen (tenzij anders vermeld met de rel = “nofollow” -tag).

Hoe pas je Robots metatag toe.

Je weet welke metatag je aan welke pagina wilt toevoegen. Maar waar doe je dit? Het plaatsen van een metatag verschilt per CMS systeem dat je gebruikt.

HTML-code:

Als u de HTML-code van uw pagina kunt bewerken, voegt u uw Robots metatag rechtstreeks toe in het <head> gedeelte van de pagina.

WordPress:

Voor WordPress lichten we de twee meest gebruikte plugins toe:

  • Rankmath

Als je RankMath gebruikt, kun je de robots instructies die je wilt toepassen rechtstreeks selecteren vanuit de Advanced-tag van de metabox.

  •  Yoast SEO

Open het tabblad “advanced” in het blok onder de pagina-editor en vul het veld “Meta robots advanced” in.

Shopify:

Als u Robots metatag op Shopify wilt toepassen, moet je dit doen door het-gedeelte van uw theme.liquid-lay-outbestand. Bijvoorbeeld:

{% if handle contains ‘page-name’ %}

{% endif %}

Wat is een X-Robots-Tag?

De robots metatag is een manier om instructies aan HTML pagina’s te geven. Wat nou als je wilt dat een zoekmachine je afbeeldingen of PDF-bestanden niet indexeert? Met X-Robots-Tag kun je dit instellen.

De X‑Robots-Tag is een HTTP-header die vanaf een webserver wordt verzonden. Hij wordt dus niet in de HTML code van de pagina geplaatst.

Hoe pas ik een X-Robots-Tag toe?

Het instellen van een X-Robots-Tag is afhankeijk van het type webserver dat je gebruikt. De servers Apache en Nginx nemen we als voorbeeld:

Om de x-robots-tag op een Apache-webserver te gebruiken, voeg je het volgende toe aan het . htaccess-bestand of het httpd. config-bestand van uw site.


Header set X-Robots-Tag “noindex, follow”

Om de x-robots-tag op een Nginx server te gebruiken, voeg je het volgende toe aan het httpd. conf-bestand van uw site.

location ~* \.pdf$ {
add_header X-Robots-Tag “noindex, follow”;
}

Kortom

Het goed begrijpen en beheren van het crawlen en indexeren van je pagina’s is een zeer belangrijk aspect van SEO. Technische SEO kan behoorlijk ingewikkeld zijn, maar Robots metatags lijken ingewikkelder dan dat ze zijn. Door de Robots metatags op de juiste manier toe te passen kun je onder andere ongewenste pagina’s uit de SERP’s houden, bepalen hoe de fragmenten van je pagina’s worden weergegeven en voorkomen dat zoekmachines onnodige links volgen.

UTM tag voor social media campagnes

UTM tag instellen voor Social Media campagnes

Met een UTM tag kan je meer inzicht creëren in het gedrag van gebruikers en de prestaties van je campagnes. In deze blog lees je over wat een UTM tag is, hoe je een UTM maakt en waar je het instelt.