Crawl demand is de mate waarin Google het belangrijk vindt om je pagina's te crawlen. Het wordt beïnvloed door de populariteit van je URL's, hoe vaak je content verandert, en of pagina's als verouderd in de index worden beschouwd. Crawl demand is het tweede deel van de crawlbudget-vergelijking.
Wat is crawl demand?
Crawl demand bepaalt welke pagina's Google wil crawlen en hoe vaak. Google geeft prioriteit aan:
- Populaire URL's — pagina's met veel externe links of veel verkeer
- Verse content — pagina's die recent zijn gewijzigd (signaal via
lastmodin sitemap) - Verouderde index-items — pagina's die lang niet gecrawld zijn
URL's die zelden veranderen en weinig verkeer krijgen, hebben lage crawl demand. Nieuwe pagina's beginnen met hoge crawl demand (discovery crawl) die daarna afneemt.
Waarom belangrijk
Crawl demand bepaalt of Google je nieuwe of gewijzigde content snel oppikt. Je kunt het beïnvloeden door een accurate sitemap met lastmod-datums, sterke interne linking naar belangrijke pagina's, en het regelmatig updaten van content.
Conversely: duizenden lage-kwaliteit pagina's (paginering, lege categorieen, parameterduplicaten) verdunnen je crawl demand. Google besteedt dan budget aan pagina's die er niet toe doen.
Voorbeeld
Verhoog crawl demand voor belangrijke pagina's:
- Zet ze in je XML-sitemap met actuele
lastmod - Link er intern naar vanuit je homepage of navigatie
- Publiceer regelmatig updates op die pagina's
Gerelateerd
- Crawlbudget optimaliseren
- XML sitemaps: best practices
- Gerelateerde termen: Crawlbudget, Crawl rate limit, Lastmod