Crawlbudget is het aantal pagina's dat een zoekmachine binnen een bepaalde periode op je site crawlt. Het wordt bepaald door twee factoren: crawl rate limit (hoe snel de bot mag crawlen zonder je server te overbelasten) en crawl demand (hoe belangrijk Google het vindt om je pagina's te crawlen). Voor sites met minder dan 10.000 pagina's is crawlbudget zelden een probleem.
Wat is crawlbudget?
Google definieert crawlbudget als de combinatie van crawl rate limit en crawl demand. Het is geen vast getal dat je ergens kunt instellen — het fluctueert dagelijks op basis van servercapaciteit, content-versheid en sitebelang.
| Factor | Wat het beïnvloedt | Hoe je het verbetert |
|---|---|---|
| Crawl rate limit | Maximale crawlsnelheid zonder serverproblemen | Snellere server, lagere TTFB |
| Crawl demand | Hoeveel Google je pagina's wil crawlen | Versere content, meer interne links naar belangrijke pagina's |
Crawlbudget is pas relevant bij grote sites (10.000+ pagina's), sites met veel dynamisch gegenereerde URL's, of sites met trage serverrespons. Voor kleine sites crawlt Google alles wat het kan vinden.
Waarom belangrijk
Als je crawlbudget onvoldoende is voor je sitegrootte, worden sommige pagina's zelden of nooit gecrawld. Dat betekent: nieuwe content wordt laat geïndexeerd, updates worden laat opgepikt, en problemen worden laat ontdekt. Bij e-commerce sites met honderdduizenden productpagina's is dit een concreet probleem.
AI-crawlers (GPTBot, ClaudeBot) hebben hun eigen crawlpatronen die je server extra kunnen belasten. Als AI-bots je server vertragen, kan dat indirect je Google-crawlbudget verlagen.
Voorbeeld
Bekijk je crawlstatistieken in Google Search Console:
Search Console > Instellingen > Crawlerstatistieken
Hier zie je:
- Totaal aantal crawl-requests per dag
- Gemiddelde responstijd
- Percentage succesvolle requests (200-status)
Filter op Googlebot-type (Smartphone vs Desktop) om te zien welke variant het meest crawlt.