Crawlen is het proces waarbij zoekmachines je website bezoeken en de inhoud lezen. Programma's zoals Googlebot volgen links van pagina naar pagina en brengen zo geleidelijk je hele website in kaart, zonder dat daar menselijke tussenkomst voor nodig is.
Crawlen is de eerste stap richting vindbaarheid: wat niet gecrawld wordt, kan niet geïndexeerd worden en dus ook niet verschijnen in de zoekresultaten, ongeacht hoe goed die pagina geschreven is. Je helpt crawlers met een duidelijke sitemap die alle pagina's oplijst, een logische interne linkstructuur zodat elke pagina via minstens één link bereikbaar is, en een correct ingesteld robots.txt-bestand dat aangeeft welke delen van de website wel en niet bezocht mogen worden. Fouten zoals kapotte links, oneindige doorverwijzingen of per ongeluk geblokkeerde pagina's zie je terug in Google Search Console onder het crawlrapport.
Crawlbudget is een begrip dat vooral bij grotere websites relevant wordt: Google besteedt niet oneindig veel tijd aan het doorzoeken van één website, en bij websites met duizenden pagina's kan het dus lonen om minder waardevolle pagina's, zoals dubbele filtercombinaties in een webshop, af te schermen zodat de crawler zijn tijd besteedt aan de pagina's die er echt toe doen. Voor een gemiddelde KMO-website met enkele tientallen pagina's is crawlbudget zelden een probleem, daar is het vooral zaak om structuur en bereikbaarheid op orde te hebben.
Ook nieuwe websites die nog geen enkele backlink hebben, worden trager en minder frequent gecrawld dan gevestigde websites, wat er mede voor zorgt dat het een tijdje kan duren voor een gloednieuwe site volledig door Google is opgenomen.
Waarom is dit belangrijk voor jouw bedrijf? Een zaak die een nieuwe dienstenpagina toevoegt maar er vanuit geen enkele andere pagina naartoe linkt, maakt het de crawler onnodig moeilijk om die pagina te vinden. De pagina blijft mogelijk wekenlang onvindbaar voor Google, hoe goed ze ook geschreven is. Een link vanuit het hoofdmenu, de homepage of een relevant blogartikel lost dat probleem meteen op en versnelt de vindbaarheid aanzienlijk.
Gerelateerde termen
Meer weten
Externe bron: Google Search Central over crawling.
Aan de slag met Crawlen?
Wil je hier werk van maken voor jouw bedrijf? Ontdek onze dienst Online & offline marketing of vraag een vrijblijvende offerte aan.