Real-time bot-traffic data van twee sites in onze portfolio. Geen mockup, geen marketing — gewoon de logs.
AI bots indexeren je site. Sitemap, robots.txt, content. Zoekmachines, maar met andere intent.
Wat ze pakken, hoe vaak, welke pagina's. Deze data zit normaal verborgen in nginx logs.
Een padel-aggregator met landelijke dekking. Hier zie je hoe AI bots een geoptimaliseerde site behandelen.
Welke AI search engines crawlen deze site? Alle grote: ChatGPT, Claude, Perplexity, OpenAI Search, Google's AI tier, Meta, ByteDance. Geen toeval.
Dagelijkse bot-crawls op hiveminds.nl. Verticale lijn markeert de overstap naar server-side rendering.
De top crawled URLs op deze site. Het patroon is voorspelbaar — en dat is precies het punt.
Zie je wat hier omhoog komt? Sitemap-files, content over AI search zelf, schema-markup uitleg. Bots zoeken wat ze begrijpen — gestructureerde, expliciete content. Dat is geen toeval, dat is design.
Data komt rechtstreeks uit nginx access logs. Bots herkend op user-agent. Geüpdatet elke minuut. Eigen IP uitgesloten van de telling.