AI-bots zijn nu 4× groter dan Google. Dit zien we in onze server logs.

We hebben net naar de access logs van handler.gg gekeken. In de afgelopen 9 dagen registreerden we 5.191 AI-bot requests. Googlebot? 1.131. Dat is 4,3× meer AI-traffic dan klassieke zoekmachine-traffic.

De meeste mensen denken dat AI-bots een toevoeging zijn boven op de bestaande Google-traffic. De realiteit is anders. AI is niet een nieuw kanaal, maar een nieuw zoek-paradigma dat het oude in stilte verdringt. En de meeste bedrijven hebben geen idee dat het gebeurt, want hun analytics-tools tonen alleen menselijk verkeer.

Wat we feitelijk zagen

De data hierboven komt direct uit de nginx access logs van handler.gg, een padel court aggregator waar we de AI-strategie voor verzorgen. Geen sampling, geen filtering. Puur: elke request met een bekende AI-bot user-agent string geteld over 9 dagen.

Laten we per bot doorlopen wat we zien.

Amazonbot: 3.470 requests (66,8% van alle AI-traffic)

Veruit de grootste crawler. Amazon gebruikt deze bot voor Amazon Q, Alexa en Bedrock-training. Het patroon is opvallend: elke individuele court-pagina wordt exact 3× gecrawld. Dat is geen willekeurig browsen, maar systematische index-opbouw.

Wat betekent dit? Als een gebruiker aan Alexa of Amazon Q vraagt "waar kan ik padel spelen in Amsterdam?", is handler.gg onderdeel van het antwoord-corpus. Elke pagina die Amazonbot indexeert is een potentieel citation-punt.

ChatGPT-User + OAI-SearchBot: 1.328 requests

Dit is de interessantste categorie. ChatGPT-User is de bot die real-time je site fetcht wanneer een ChatGPT-gebruiker een vraag stelt en het model besluit actuele informatie op te halen. OAI-SearchBot doet hetzelfde voor SearchGPT.

Concreet: als iemand in ChatGPT typt "beste padel-courts in Utrecht", en het model besluit handler.gg te bezoeken, is dat een ChatGPT-User request. Deze bots zien jouw content op het moment dat een prospect erom vraagt.

1.328 real-time browse-requests in 9 dagen. Dat is ~147 per dag. Elke dag stellen echte mensen vragen aan ChatGPT over topics waar handler.gg relevant voor is, en ChatGPT haalt onze content op om te citeren.

PerplexityBot + Perplexity-User: 147 requests

Perplexity bouwt een eigen zoek-index (PerplexityBot) plus serveert real-time queries via Perplexity-User. Het volume is kleiner dan OpenAI, maar Perplexity's gebruikers zijn typisch research-heavy professionals en studenten. Voor B2B en kennis-intensieve markten is dit platform disproportioneel belangrijk.

ClaudeBot: 96 requests

Anthropic's training-crawler. Vandaag alleen al 10 requests, in een vast crawl-patroon (elke ~2 uur). ClaudeBot focust op robots.txt en sitemap.xml eerst, daarna specifieke content-pagina's. Het is een nette crawler: volgt instructies, respecteert rate limits.

GPTBot: 82 requests

OpenAI's training-bot. Apart van de browsing-bots (ChatGPT-User en OAI-SearchBot). GPTBot crawlt voor toekomstige modelversies. Alles wat hij nu indexeert kan in de volgende GPT-versie als kennis verschijnen.

Het patroon

Een cruciaal detail: deze bots fetchen /robots.txt en /sitemap.xml veel: 67 + 48 hits in onze top-10 gecrawlde paths. Ze willen het netjes doen. Ze zoeken toestemming en structuur. Als je ze welkom heet en een goede sitemap biedt, crawlen ze effectiever en citeren ze je vaker.

Waarom je analytics dit niet ziet

Google Analytics 4 filtert bots standaard uit. Dat is een feature, geen bug: je wilt dat je menselijke metrics schoon zijn. Maar het nadeel is aanzienlijk: je ziet niet dat 80% van je crawl-traffic AI is.

Cloudflare laat het wel zien via hun relatief nieuwe AI Crawl Control feature. Maar dat is recent, en lang niet iedereen gebruikt Cloudflare.

Het gevolg: als je marketing-team alleen GA4 gebruikt, weten ze niet dat AI-systemen je site indexeren. Ze weten niet welke pagina's prioriteit krijgen bij AI-bots. Ze weten niet dat handler.gg 147 keer per dag door ChatGPT wordt bezocht. Ze optimaliseren voor een wereld die aan het verdwijnen is.

De server logs liegen niet. GA4 is een lens op menselijk gedrag. Nginx logs zijn de complete waarheid over wie je site bezoekt, mens én machine.

Hoe je het zelf meet

Als je server-toegang hebt

# Trek nginx logs voor AI-bot user agents
zcat /var/log/nginx/jouwsite.com-access.log.*.gz | \
  cat - /var/log/nginx/jouwsite.com-access.log | \
  grep -ohE "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|PerplexityBot|Bytespider|Amazonbot|Google-Extended)" | \
  sort | uniq -c | sort -rn

Dit geeft je een directe count per AI-bot user agent. Vergelijk het met de traditionele bots:

# Traditionele search bots
zcat /var/log/nginx/jouwsite.com-access.log.*.gz | \
  cat - /var/log/nginx/jouwsite.com-access.log | \
  grep -ohE "(Googlebot|bingbot|DuckDuckBot|YandexBot|Baiduspider)" | \
  sort | uniq -c | sort -rn

Als je geen server-toegang hebt

• Cloudflare: AI Crawl Control dashboard onder de Bots-sectie. Geeft per-bot breakdown.
• Vercel/Netlify: beperkt. Hun analytics filteren bots agressief uit. Je ziet vrijwel niets.
• Server-host (Hetzner, DigitalOcean): meestal heb je SSH-toegang naar nginx of Apache logs.
• WordPress: Wordfence kan AI-bot user agents loggen onder "Live Traffic".

Het punt is: de data is er al. Je moet alleen weten waar je kijkt.

Wat te doen: drie strategische keuzes

Keuze 1: Toelaten of blokkeren?

De default-reactie van veel bedrijven is "blokkeren". Het voelt logisch: je content wordt gebruikt om AI-modellen te trainen waar je niets aan verdient.

Maar de praktische kant: als je geblokkeerd bent, word je ook niet gecited wanneer een ChatGPT-gebruiker vraagt "wie zijn de beste padel-platforms in Nederland?" of "welke tandarts in Utrecht heeft de beste reviews?".

Ons advies: toelaten, en optimaliseren voor citatie. Specifiek:

• GPTBot en ClaudeBot toelaten in robots.txt: die voeden trainingsdata. Jouw kennis wordt onderdeel van toekomstige modellen.
• ChatGPT-User en OAI-SearchBot toelaten: die fetchen tijdens user-queries. Dit is real-time traffic met directe citatie-potentie.
• PerplexityBot en Perplexity-User toelaten: Perplexity is voor B2B en research-heavy queries steeds relevanter.
• Amazonbot toelaten: relevant als je enige vorm van lokaal, product- of service-content hebt.

Wel blokkeren: specifieke pagina's met gevoelige info (/admin, /login, /api, interne tooling).

Keuze 2: Optimaliseer voor LLM-extractie

LLM's hebben specifieke voorkeuren bij het verwerken van content. Wat aantoonbaar werkt:

Heldere semantische structuur: h1, h2, h3 logisch genest. HTML zonder structuur maakt LLM's onzeker over de hiërarchie van informatie. Ze citeren minder.

Definitieve uitspraken: "Padelclub Smashtime in Amsterdam heeft 8 banen, geopend tot 23:00" wordt vaker gecited dan "Wij bieden veel banen tot in de avond". LLM's zoeken feiten die ze met zekerheid kunnen herhalen.

Schema.org markup: LocalBusiness, Product, FAQPage. Dit geeft LLM's een direct in te lezen feiten-laag boven je content. Het is als een gestructureerd visitekaartje dat machines sneller parsen dan proza.

llms.txt in je root: een emerging standard. In feite een robots.txt voor AI. Een gestructureerd tekstbestand dat je belangrijkste content, services en contactinfo samenvat in machine-leesbaar formaat.

Meer over llms.txt implementeren →

Keuze 3: Filter bots uit GA4 voor cleaner analytics

GA4 filtert standaard de meeste search-engine bots uit, maar niet altijd alle AI-bots correct. Zorg dat je IP-ranges en user-agents van AI-bots als 'known bot' markeert in GA4 settings, anders krijg je vervuilde behavior-data: bounce rates die nergens op slaan, sessie-duraties van 0 seconden, pagina-views zonder conversies.

Meer over AI visibility meten →

Wat we voor Handler hebben gedaan

Nadat we deze data zagen, hebben we vijf concrete stappen gezet:

1. robots.txt updates: GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Amazonbot expliciet toegestaan met Allow: /
2. llms.txt toegevoegd: in de root van handler.gg, met lijst van belangrijkste pages, sport-types, en geografische dekking
3. Schema.org markup: LocalBusiness per club-pagina, Service voor padel-booking, FAQPage voor "Hoe Handler werkt"
4. Internal linking gestructureerd: clusters per stad (Utrecht, Amsterdam) en per type (padel, tennis), zodat LLM's begrijpen wat voor platform het is en hoe de informatie-architectuur in elkaar zit
5. Meta-descriptions herschreven: van marketingtaal ("Het beste padel-platform!") naar feitelijke statements ("Handler aggregeert 120+ padel-courts in Nederland en België met real-time beschikbaarheid")

Resultaat: AI-bot citation rate (gemeten via prompt-tests in ChatGPT, Claude en Perplexity) van 12% naar 38% in 6 weken voor "padel boeken Nederland" en geo-modifiers. Dat is 3× meer citaties in AI-antwoorden.

Waarom dit op handler.gg gebeurt, en op jouw site ook

handler.gg is een vrij specifieke niche, een padel court aggregator. Maar de crawl-patronen die we zien zijn universeel:

Locatie-content wordt agressief gecrawled door Amazonbot. Relevant voor: lokale services, tandartspraktijken, restaurants, installateurs, makelaars. Alles met een fysiek adres en openingstijden.

Vergelijkings-content ("beste X in Y") trekt PerplexityBot en ChatGPT-User aan. Relevant voor: B2B vergelijkingssites, review-platforms, "top 10"-content, research-heavy markten.

FAQ + how-to content trekt ClaudeBot en GPTBot aan. Relevant voor: SaaS documentatie, support content, knowledge bases, how-to blogs.

Als je in een van deze categorieën zit, en de meeste bedrijven zitten in minstens één, is je site nu al onderdeel van de AI-economie. Of je 't ziet of niet. Of je 't meet of niet.

Het verschil is of je er passief onderdeel van bent (zonder optimalisatie, random citaties, geen controle) of actief (gestructureerd, geoptimaliseerd, meetbaar).

De volgende stap

Wil je weten of jouw bedrijf gecited wordt door ChatGPT, Claude, Perplexity en Google AI? Wij doen een gratis Snapshot: 25 prompts in jouw markt, exact welke bedrijven worden genoemd, en waar jouw kansen liggen. Geen verplichtingen, geen sales-druk.

Vraag een gratis Snapshot aan →

Data uit nginx access logs op handler.gg, 9 dagen tot 2026-05-03. Methodologie: alle requests met user-agents matchend bekende AI-bot signatures geteld via grep + uniq. Traditional search bots: Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider. IP-ranges geverifieerd tegen bekende crawl-netwerken. Voor je eigen analyse, gebruik de scripts in deze post.