Log file analyse is het onderzoeken van server access logs om te begrijpen hoe zoekmachine-bots je site crawlen. Het toont welke pagina's Googlebot bezoekt, hoe vaak, welke statuscodes het ontvangt, en welke pagina's het negeert. Het is de enige manier om objectief te meten hoe bots je site ervaren.
Wat is log file analyse?
Elke keer dat een bot of gebruiker een pagina opvraagt, schrijft je webserver een regel in het access log. Een typische logregel bevat: IP-adres, timestamp, HTTP-methode, URL, statuscode, user-agent, en responstijd.
66.249.66.1 - - [02/May/2026:10:15:32 +0200] "GET /seo/technical-seo/ HTTP/1.1" 200 45230 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"
Door deze logs te filteren op user-agent (Googlebot, GPTBot, ClaudeBot) kun je exact zien:
- Welke pagina's het vaakst gecrawld worden
- Welke pagina's nooit gecrawld worden
- Welke statuscodes bots ontvangen
- Hoe de crawlfrequentie verandert over tijd
Waarom belangrijk
Search Console toont wat Google indexeert. Log file analyse toont wat Google crawlt — dat is een stap eerder in het proces. Pagina's die niet gecrawld worden, kunnen niet geïndexeerd worden. Log file analyse onthult crawlbudget-problemen die je nergens anders ziet.
Het is ook de enige manier om AI-bot crawlgedrag te monitoren. GPTBot, ClaudeBot en PerplexityBot verschijnen niet in Search Console.
Voorbeeld
Analyseer Googlebot-activiteit met command-line tools:
# Top 20 meest gecrawlde URL's door Googlebot
grep "Googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
Tools als Screaming Frog Log File Analyser en Botify maken visuele analyse mogelijk.
Gerelateerd
- Crawlbudget optimaliseren
- Gerelateerde termen: Crawlbudget, User-agent, Crawl rate limit