Live bot-traffic data van twee sites in onze portfolio, elke minuut bijgewerkt. Geen mockup, geen marketing, gewoon de logs.
AI bots indexeren je site. Sitemap, robots.txt, content. Zoekmachines, maar met andere intent.
Wat ze pakken, hoe vaak, welke pagina's. Deze data zit normaal verborgen in nginx logs.
Een padel-aggregator met landelijke dekking. Hier zie je hoe AI bots een geoptimaliseerde site behandelen.
Welke bots lezen deze site? Wij zien actieve crawlers en agents van grote AI- en searchplatforms: OpenAI, Anthropic, Perplexity, Google, Meta en ByteDance. Geen toeval.
Bot-crawls per dag op hiveminds.nl. Verticale lijn markeert de overstap naar server-side rendering.
| Bot | Voor SSR (gem./dag) | Na SSR (gem./dag) | Verandering |
|---|---|---|---|
| other-bot | 36.4 | 61.7 | +69.5% |
| Googlebot | 22.9 | 36.4 | +59% |
| Applebot | 6.4 | 42.4 | +562.5% |
| GPTBot | 28.7 | 10 | -65.2% |
| ClaudeBot | 11 | 20.1 | +82.7% |
| ChatGPT-User | 5.9 | 22.8 | +286.4% |
| AhrefsBot | 13.9 | 7.7 | -44.6% |
| Bingbot | 5.1 | 12.6 | +147.1% |
| Bytespider | 3.6 | 13.5 | +275% |
| Baiduspider | 0.7 | 15.4 | +2100% |
| OAI-SearchBot | 3.4 | 9.4 | +176.5% |
| PerplexityBot | 4.4 | 5.7 | +29.5% |
| Meta-ExternalAgent | 3.7 | 6.1 | +64.9% |
| SemrushBot | 1 | 8.6 | +760% |
| MJ12bot | 1.7 | 7.7 | +352.9% |
| Amazonbot | 1 | 4.7 | +370% |
| facebookexternalhit | 3.3 | 1.7 | -48.5% |
| DuckDuckBot | 1.6 | 2.5 | +56.2% |
| DotBot | 0 | 3.7 | nieuw |
| YandexBot | 0.7 | 2.9 | +314.3% |
| dataforseoBot | 0 | 3.2 | nieuw |
| YouBot | 1.3 | 0.1 | -92.3% |
| 0.9 | 0.4 | -55.6% | |
| Perplexity-User | 0.6 | 0.6 | 0% |
| Claude-User | 0.4 | 0.6 | +50% |
| LinkedInBot | 0 | 0.6 | nieuw |
| anthropic-ai | 0 | 0.5 | nieuw |
| cohere-ai | 0 | 0.4 | nieuw |
| Google-Extended | 0 | 0.4 | nieuw |
| Diffbot | 0 | 0 | nieuw |
| Twitterbot | 0 | 0 | nieuw |
De top crawled URLs op deze site. Het patroon is voorspelbaar, en dat is precies het punt.
Zie je wat hier omhoog komt? Sitemap-files, content over AI search zelf, schema-markup uitleg. Bots zoeken wat ze begrijpen: gestructureerde, expliciete content. Dat is geen toeval, dat is design.
Data komt rechtstreeks uit nginx access logs. Bots herkend op user-agent. Geüpdatet elke minuut. Eigen IP uitgesloten van de telling.