Robots metatag en X-Robots-Tag; waarom en hoe gebruik je ze?
Het goed begrijpen en beheren van het crawlen en indexeren van je pagina’s is een zeer belangrijk aspect van SEO. Technische SEO kan behoorlijk ingewikkeld zijn, maar robots meta-tags lijken ingewikkelder dan dat ze zijn. In deze blog lees je wat een metatag is, welke metatags er zijn en hoe je ze toepast.
Inhoudsopgave
We duiken in het Robots.txt bestand!
Robots metatags worden gebruikt om te bepalen hoe en of een zoekmachine de inhoud van je webpagina indexeert of crawled. In deze blog leggen we uit wat een metatag is, welke er zijn en hoe je ze gebruikt.
Wat is een Robots meta tag
De tags bevatten een stukje HTML-code dat in de <head> sectie van de pagina wordt geplaatst. De tags zijn pagina specifiek en bepalen dus per pagina hoe een zoekmachine de pagina moet indexeren.Een Robots metatag ziet er alsvolgt uit:<meta name="robots" content="noindex" />
Welke Robots metatags zijn er?
Om maar met de deur in huis te vallen, er zijn honderden Robots meta tag combinaties mogelijk. Om te begrijpen welke je moet toepassen gaan we kijken hoe de Robots metatag opgebouwd is. De code bestaat uit twee onderdelen: naam en inhoud.
De naam (meta name) bepaalt dat zoekmachines en bots de instructies in de Robots metatag moeten volgen. Om alle zoekmachines en bots te instrueren gebruik je “robots” (zoals in het vorige voorbeeld).
De inhoud (content) gebruik je om instructies aan de ingevulde meta name te geven. Je kunt de onderstaande instructies toepassen:
- Index: neem de pagina op in de index = <meta name="robots" content="noindex" />
- Noindex: neem de pagina niet op in de index of toon deze niet op de SERP's = <meta name="robots" content="noindex" />
- All: een snelkoppeling om index op te geven, volg = <meta name="robots" content="all" />
- Nofollow: volg niet de links op de pagina = <meta name="robots" content="nofollow" />
- None: noindex, nofollow op te geven = <meta name="robots" content="none" />
- Volgen: volg de links op de pagina om andere pagina's te ontdekken = <meta name="robots" content="follow" />
- Nocache: dit is hetzelfde als noarchive, maar alleen voor MSN = <meta name="robots" content="nocache" />
- Noimageindex: indexeert de afbeeldingen op de pagina niet = <meta name="robots" content="noimageindex" />
- Notranslate: laat geen vertalingen van de pagina op de SERP’s zien = <meta name="robots" content="notranslate" />
- Nopagereadaloud: staat niet toe dat spraakservices uw pagina hardop voorlezen = <meta name="robots" content=" Nopagereadaloud " />
- Noarchive: toont geen cacheversie van de pagina op de SERP's = <meta name="robots" content="noarchive" />
- Unavailable_after: specificeert een tijd waarna de pagina niet moet worden geïndexeerd = <meta name="robots" content="unavailable_after: Sunday, 01-Jan-21 12:34:56 GMT" />
- Nositelinkssearchbox: toon geen zoekvak voor uw site op de SERP's = <meta name="robots" content=" Nositelinkssearchbox " />
Hierboven heb je gelezen hoe je enkele instructies aan de zoekmachines kan geven, maar je kunt de instructies ook combineren. Je kunt gemakkelijk in het “content” gedeelte meerdere instructies combineren. Zie voorbeeld:
<meta name = "robots" content = "noindex, nofollow">
Als er geen Robots metatag is, interpreteren crawlers dat als index en volgen. Dat geeft hen toestemming om de pagina in zoekresultaten weer te geven en alle links op de pagina te crawlen (tenzij anders vermeld met de rel = "nofollow" -tag).
Hoe pas je Robots metatag toe.
Je weet welke metatag je aan welke pagina wilt toevoegen. Maar waar doe je dit? Het plaatsen van een metatag verschilt per CMS systeem dat je gebruikt.
HTML-code:
Als u de HTML-code van uw pagina kunt bewerken, voegt u uw Robots metatag rechtstreeks toe in het <head> gedeelte van de pagina.
WordPress:
Voor WordPress lichten we de twee meest gebruikte plugins toe:
- Rankmath
Als je RankMath gebruikt, kun je de robots instructies die je wilt toepassen rechtstreeks selecteren vanuit de Advanced-tag van de metabox.
- Yoast SEO
Open het tabblad “advanced” in het blok onder de pagina-editor en vul het veld "Meta robots advanced" in.
Shopify:
Als u Robots metatag op Shopify wilt toepassen, moet je dit doen door het-gedeelte van uw theme.liquid-lay-outbestand. Bijvoorbeeld:
{% if handle contains 'page-name' %}
{% endif %}
Wat is een X-Robots-Tag?
De robots metatag is een manier om instructies aan HTML pagina’s te geven. Wat nou als je wilt dat een zoekmachine je afbeeldingen of PDF-bestanden niet indexeert? Met X-Robots-Tag kun je dit instellen.
De X‑Robots-Tag is een HTTP-header die vanaf een webserver wordt verzonden. Hij wordt dus niet in de HTML code van de pagina geplaatst.
Hoe pas ik een X-Robots-Tag toe?
Het instellen van een X-Robots-Tag is afhankeijk van het type webserver dat je gebruikt. De servers Apache en Nginx nemen we als voorbeeld:
Om de x-robots-tag op een Apache-webserver te gebruiken, voeg je het volgende toe aan het .htaccess-bestand of het httpd. config-bestand van uw site.
Header set X-Robots-Tag "noindex, follow"
Om de x-robots-tag op een Nginx server te gebruiken, voeg je het volgende toe aan het httpd. conf-bestand van uw site.
location ~* .pdf$ {add_header X-Robots-Tag "noindex, follow";}
Kortom
Het goed begrijpen en beheren van het crawlen en indexeren van je pagina’s is een zeer belangrijk aspect van SEO. Technische SEO kan behoorlijk ingewikkeld zijn, maar Robots metatags lijken ingewikkelder dan dat ze zijn. Door de Robots meta tags op de juiste manier toe te passen kun je onder andere ongewenste pagina's uit de SERPs houden, bepalen hoe de fragmenten van je pagina’s worden weergegeven en voorkomen dat zoekmachines onnodige links volgen.
Vaak gelezen en bekeken
Chase wordt gevormd door gepassioneerde mensen.
Shopify SEO-migratie: hoe ziet dit proces eruit?
Heb je genoeg van je huidige webshop platform en wil je iets wat sneller, gebruiksvriendelijker en beter schaalbaar is? Dan is het tijd om te denken aan een Shopify migratie! In deze blog duiken we dieper in de wereld van Shopify en hoe je er voor kunt zorgen dat je je website in een keer perfect overzet. Wat zijn de stappen, waar moet je deze uitvoeren en hoe doe je dat? Pak je koffie en laten we erin duiken!
Lightspeed SEO, alles wat je moet weten
Lightspeed is een krachtig e-commerceplatform met veel voordelen. Het CMS kent een geschiedenis met een hoog gebruiksgemak en veel standaardopties om goed te scoren in de rankings van zoekmachines. De gebruiksvriendelijkheid van het CMS kan al flink helpen met het opzetten van een basis voor SEO, wij leggen je in dit blog uit hoe je met behulp van SEO echt kunt uitblinken met je Lightspeed webshop.
Google core update augustus 2024, de effecten en ons advies
De Google core update van augustus 2024 heeft veel buzz veroorzaakt binnen de SEO-gemeenschap en ondernemers. Elke core update heeft invloed op de manier waarop zoekresultaten worden weergegeven, en de augustus update is geen uitzondering. Het is daarom cruciaal om te begrijpen wat deze update inhoudt en hoe je website mogelijk wordt beïnvloed.
Gratis tips & inspiratie
Geheel gratis, omdat we vinden dat je kennis deelt.
Let’s talk
Met slimme strategieën, veel kennis en een flinke dosis doorzettingsvermogen zorgen.