Crawl rate limit is de maximale snelheid waarmee Googlebot je site mag crawlen zonder de server te overbelasten. Google bepaalt deze limiet automatisch op basis van je serverresponstijd en foutpercentage. Een snelle server met lage TTFB krijgt een hogere crawl rate limit.
Wat is crawl rate limit?
Crawl rate limit voorkomt dat Googlebot je server platcrawlt. Google monitort continu hoe je server reageert en past de crawlsnelheid aan. Als je server traag begint te reageren (hoge TTFB) of fouten retourneert (5xx-statuscodes), verlaagt Google automatisch de crawlfrequentie.
Je kunt de crawl rate limit niet verhogen, maar je kunt voorkomen dat Google hem verlaagt door te zorgen voor een stabiele, snelle server.
Waarom belangrijk
Een lage crawl rate limit beperkt hoeveel pagina's Google per dag kan crawlen. Dat is het eerste deel van de crawlbudget-vergelijking. Zelfs als Google alle reden heeft om je pagina's te crawlen (hoge crawl demand), kan het niet als de server het niet aankan.
Langzame TTFB, serverfouten, en overbelasting door andere bots (inclusief AI-crawlers) zijn de meest voorkomende oorzaken van een lage crawl rate limit.
Voorbeeld
Verifieer je serverrespons en foutpercentage in Search Console > Crawlerstatistieken. Als je gemiddelde responstijd boven de 500ms ligt of het foutpercentage boven 5%, is je crawl rate limit waarschijnlijk beperkt.
Gerelateerd
- Crawlbudget optimaliseren
- Gerelateerde termen: Crawlbudget, Crawl demand, TTFB