Crawl-delay is een robots.txt directive die crawlers vraagt om een minimale wachttijd aan te houden tussen opeenvolgende requests. Crawl-delay: 10 vraagt de crawler om minimaal 10 seconden te wachten tussen requests. Google negeert Crawl-delay volledig. Bing en sommige AI-crawlers respecteren het wel.
Wat is Crawl-delay?
Crawl-delay was bedoeld om servers te beschermen tegen overbelasting door agressieve crawlers:
User-agent: *
Crawl-delay: 10
Dit vraagt crawlers om maximaal 1 request per 10 seconden te doen. Het maakt geen deel uit van de officiële robots.txt standaard (RFC 9309), maar wordt door sommige crawlers gerespecteerd.
| Crawler | Respecteert Crawl-delay? |
|---|---|
| Googlebot | Nee (gebruik Search Console crawl rate instelling) |
| Bingbot | Ja |
| Yandex | Ja |
| Sommige AI-bots | Wisselend |
Waarom belangrijk
Crawl-delay is een blunt instrument. Het vertraagt alle crawling, ook van pagina's die je snel geïndexeerd wilt hebben. Voor Google heeft het geen effect. Voor Bing en andere crawlers kan het nuttig zijn als je server onder druk staat, maar de voorkeur gaat naar het verbeteren van servercapaciteit.
In de context van AI-crawlers: als GPTBot of ClaudeBot je server overbelast, is Crawl-delay een mogelijke maatregel. Maar volledige blokkering via Disallow is effectiever als je de crawlers niet wilt toelaten.
Voorbeeld
Rate limiting voor niet-Google crawlers:
# Google: geen crawl-delay (Google negeert het toch)
User-agent: Googlebot
Disallow: /admin/
# Bing: maximaal 1 request per 5 seconden
User-agent: Bingbot
Crawl-delay: 5
# AI-bots: vertraag als je ze toestaat
User-agent: PerplexityBot
Crawl-delay: 10
Voor Google: stel crawl rate in via Search Console > Instellingen > Crawlerstatistieken.
Gerelateerd
- Robots.txt: complete handleiding
- Crawlbudget optimaliseren
- Gerelateerde termen: User-agent, Disallow, Crawl rate limit