Een sitemap is een bestand dat de URL’s van een website opsomt en deze aan zoekmachines doorgeeft om hun verkenning te vergemakkelijken. Dit bestand heeft geen directe invloed op de ranking van pagina’s in de resultaten. De rol ervan is meer gericht: de ontdekking van inhoud versnellen en een betere indexeringsdekking garanderen, vooral wanneer de structuur van de site moeilijk toegankelijke gebieden voor robots bevat.
Sitemap en crawlbudget: een vaak onderschat mechanisme
De robots van zoekmachines hebben een beperkte tijd om elke site te verkennen. Deze tijd, vaak het crawlbudget genoemd, hangt af van de grootte van de site, de populariteit en de frequentie van updates van de pagina’s. Op een site met duizenden pagina’s lopen sommige URL’s die meer dan drie klikken van de homepage verwijderd zijn het risico nooit bezocht te worden.
De sitemap fungeert als een snelkoppeling. Het geeft de robots direct de bestaande URL’s door, zonder dat zij elke interne link één voor één hoeven te volgen. Op een e-commerce site met facettenfilters of een blog met diepe archieven verandert deze functie de spelregels: wees orfelen of diepe pagina’s worden zichtbaar voor de crawl.
Dit mechanisme komt ook de indirecte navigatie ten goede. Wanneer zoekmachines meer pagina’s indexeren, vinden gebruikers deze inhoud via de zoekfunctie. Een concreet voorbeeld van deze logica is te vinden op de sitemap pagina van Marcelllin, die de structuur van een site duidelijk blootlegt voor zowel robots als bezoekers.
XML-sitemap en HTML-sitemap: twee bestanden met verschillende functies
De verwarring tussen deze twee formaten komt vaak voor. Een XML-sitemap is een technisch bestand dat bedoeld is voor zoekmachines. Het volgt een gestandaardiseerd protocol, aangenomen door Google, Bing en andere zoekmachines sinds het midden van de jaren 2000. Dit bestand somt de URL’s op met optionele metadata: datum van de laatste wijziging, geschatte updatefrequentie.
De HTML-sitemap daarentegen is een klassieke webpagina, leesbaar door een mens. Het presenteert de structuur van de site in de vorm van klikbare links, georganiseerd per categorie of thema. De nuttigheid ervan is dubbel: een verloren bezoeker helpen een specifieke pagina te vinden en de robots een extra toegangspunt bieden naar diepe pagina’s.
Wanneer de één of de ander te verkiezen
De twee formaten sluiten elkaar niet uit. De XML dekt het technische aspect van indexering. De HTML verbetert de navigatie-ervaring voor bezoekers. Op een gemiddelde site is de XML-sitemap meestal voldoende voor SEO. De HTML-sitemap wordt relevant wanneer de architectuur van de site complex is of wanneer het hoofdmenu niet alle rubrieken kan weergeven.
- De XML-sitemap wordt ingediend via Google Search Console of door deze te verklaren in het robots.txt-bestand, wat de opname door de robots versnelt.
- De HTML-sitemap wordt vaak onderaan de site geplaatst, toegankelijk met één klik vanaf elke pagina.
- Een site kan (en zou in veel gevallen moeten) beide formaten parallel onderhouden om zowel robots als bezoekers te dekken.
Sitemap als canonisatie-signaal voor URL’s
Een onderbenut aspect van de sitemap betreft het beheer van dubbele URL’s. Wanneer een site meerdere adressen genereert voor dezelfde inhoud (sorteringsparameters, versies met of zonder “www”, paginavarianten), moeten de zoekmachines raden welke versie de juiste is. De rel=”canonical” tag vervult deze rol, maar de sitemap versterkt dit signaal door alleen de URL’s op te sommen die als officieel worden beschouwd.
Door in het XML-bestand alleen de canonieke URL’s op te nemen, stuurt de webmaster een duidelijke boodschap: deze pagina’s zijn de belangrijke. De niet-genoteerde varianten verliezen aan crawlprioriteit. Dit mechanisme werkt als een intentieverklaring, aanvullend op de tags die in de HTML-code van de pagina’s aanwezig zijn.
Veelvoorkomende fout: het vermelden van geblokkeerde of omgeleide URL’s
Een sitemap die URL’s bevat die foutmeldingen 404, omleidingen 301 of pagina’s die zijn geblokkeerd door het robots.txt-bestand retourneert, zendt tegenstrijdige signalen. De zoekmachines verspillen crawlbudget aan onbereikbare pagina’s, en de algehele betrouwbaarheid van de sitemap neemt af in de ogen van de robots.
Regelmatig onderhoud van het bestand is dus net zo strategisch als de initiële creatie ervan. Elke vermelde URL moet een code 200 retourneren en overeenkomen met een daadwerkelijk actieve pagina.
Sitemap en recente sites: een versnelde ontdekking
Nieuw aangemaakte sites hebben te maken met een specifiek probleem: er zijn zeer weinig externe links die naar hen verwijzen, wat de toegangspunten voor robots beperkt. Zonder backlinks is de enige manier voor een zoekmachine om de pagina’s te ontdekken door de interne linkstructuur vanaf de homepage te volgen, of door een sitemap te ontvangen.
Voor een site die enkele weken geleden is gelanceerd, kan het indienen van een XML-sitemap via Search Console de tijd tussen het publiceren van een pagina en het verschijnen ervan in de zoekresultaten aanzienlijk verkorten. Deze tijdwinst is vooral zichtbaar op sites waarvan de inhoud regelmatig wordt gepubliceerd.
- Sites met meer dan enkele honderden pagina’s profiteren het meest van een sitemap, omdat hun navigatiediepte verder gaat dan wat de robots spontaan verkennen.
- Sites met multimedia-inhoud (video’s, afbeeldingen) kunnen specifieke uitbreidingen van het sitemap-formaat gebruiken om deze bronnen aan de zoekmachines te signaleren.
- Meertalige sites verklaren de taalkundige versies van elke pagina dankzij de hreflang-annotaties die in de sitemap zijn geïntegreerd, wat de structuur voor de zoekmachines verduidelijkt.
De sitemap garandeert geen indexering. Google herinnert hier regelmatig aan: het indienen van een URL in een sitemap is een suggestie, geen instructie. De zoekmachines blijven vrij om bepaalde pagina’s te negeren als ze de inhoud onvoldoende of dubbel vinden. Het bestand vergemakkelijkt de ontdekking van pagina’s, maar hun indexering hangt af van de kwaliteit van de inhoud die ze aanbieden.