Live bot-traffic data van twee sites in onze portfolio, elke minuut bijgewerkt. Geen mockup, geen marketing, gewoon de logs.
AI bots indexeren je site. Sitemap, robots.txt, content. Zoekmachines, maar met andere intent.
Wat ze pakken, hoe vaak, welke pagina's. Deze data zit normaal verborgen in nginx logs.
Een padel-aggregator met landelijke dekking. Hier zie je hoe AI bots een geoptimaliseerde site behandelen.
Welke bots lezen deze site? Wij zien actieve crawlers en agents van grote AI- en searchplatforms: OpenAI, Anthropic, Perplexity, Google, Meta en ByteDance. Geen toeval.
Bot-crawls per dag op hiveminds.nl. Verticale lijn markeert de overstap naar server-side rendering.
| Bot | Voor SSR (gem./dag) | Na SSR (gem./dag) | Verandering |
|---|---|---|---|
| other-bot | 32.9 | 76.5 | +132.7% |
| Googlebot | 20.4 | 29.7 | +45.5% |
| Applebot | 6.1 | 38.5 | +526.9% |
| AhrefsBot | 13.6 | 18.6 | +36.8% |
| ClaudeBot | 10.4 | 19.6 | +87.6% |
| ChatGPT-User | 5.7 | 20.8 | +263.1% |
| Baiduspider | 0.3 | 20.2 | +6982.2% |
| GPTBot | 8.6 | 9.7 | +12.7% |
| Bingbot | 4.7 | 9.6 | +103.3% |
| Bytespider | 3.3 | 7.8 | +137.7% |
| SemrushBot | 0.7 | 9.6 | +1245.9% |
| OAI-SearchBot | 2.6 | 7.5 | +191.7% |
| PerplexityBot | 4.1 | 5.1 | +22.2% |
| Meta-ExternalAgent | 2.4 | 6.2 | +157% |
| MJ12bot | 1.7 | 6.8 | +294.2% |
| Amazonbot | 0.6 | 4.7 | +723.3% |
| facebookexternalhit | 2.6 | 1.8 | -30.5% |
| DotBot | 0 | 2.9 | nieuw |
| dataforseoBot | 0 | 2.8 | nieuw |
| YandexBot | 0.4 | 1.8 | +331.3% |
| DuckDuckBot | 1 | 0.4 | -62.1% |
| Claude-User | 0.4 | 0.9 | +101.5% |
| 0.9 | 0.3 | -67.3% | |
| Perplexity-User | 0.6 | 0.2 | -62.9% |
| YouBot | 0.7 | 0.1 | -80.9% |
| LinkedInBot | 0 | 0.5 | nieuw |
| cohere-ai | 0 | 0 | nieuw |
| Diffbot | 0 | 0 | nieuw |
| Slackbot | 0 | 0 | nieuw |
Vergelijking op basis van 7 dagen met loggegevens vóór de migratie (6 tot en met 12 mei 2026) tegenover 94 dagen erna. Vóór 6 mei werd nog niet gelogd.
De meest opgevraagde URLs op deze site over de laatste 30 dagen. Het patroon is voorspelbaar, en dat is precies het punt.
Deze lijst telt alleen requests die de site zelf heeft beantwoord. Verkeer dat al aan de serverdeur wordt afgewezen, zoals scanners die naar configuratiebestanden zoeken, telt niet mee als crawl. Wat hier staat is dus opgevraagde content, geen ruis.
Data komt rechtstreeks uit nginx access logs. Bots herkend op user-agent. Geüpdatet elke minuut. Meegeteld worden alleen requests die de site heeft beantwoord op een pad dat hier bestaat of ooit heeft bestaan; scannerverkeer naar verzonnen URLs telt niet mee. Hoe streng je die grens trekt verschuift de vergelijking met een paar procentpunt; de exacte varianten staan in het meetrapport.