User-agent is een identificatiestring die een browser of crawler meestuurt bij elk HTTP-verzoek. In robots.txt definieert de User-agent directive voor welke crawler de regels gelden. Elke zoekmachine en AI-crawler heeft een unieke user-agent: Googlebot, GPTBot, ClaudeBot, PerplexityBot.
Wat is user-agent?
In de context van robots.txt specificeert User-agent de crawler waarvoor de daaropvolgende regels gelden:
User-agent: Googlebot
Disallow: /admin/
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /private/
User-agent: * is een wildcard die geldt voor alle crawlers waarvoor geen specifieke regels zijn gedefinieerd.
Veelgebruikte user-agents:
| User-agent | Eigenaar | Type |
|---|---|---|
| Googlebot | Zoekmachine | |
| Bingbot | Microsoft | Zoekmachine |
| GPTBot | OpenAI | AI-training |
| OAI-SearchBot | OpenAI | AI-zoeken |
| ClaudeBot | Anthropic | AI-training |
| PerplexityBot | Perplexity | AI-zoeken |
| Google-Extended | AI-training |
Waarom belangrijk
User-agent is de basis van alle robots.txt-configuratie. Zonder het juiste user-agent tref je de verkeerde crawler. In 2026 is het onderscheid tussen AI-training bots en AI-zoek bots cruciaal: je wilt mogelijk GPTBot blokkeren (training) maar OAI-SearchBot toestaan (verschijnen in ChatGPT-zoekresultaten).
Robots.txt is adviserend, niet afdwingend. Welwillende bots respecteren het, maar niet alle crawlers doen dat.
Voorbeeld
Differentieer tussen AI-training en AI-zoek bots:
# Blokkeer AI-training crawlers
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Sta AI-zoek crawlers toe
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Gerelateerd
- Robots.txt: complete handleiding
- Gerelateerde termen: Disallow, Crawl-delay, Crawlbudget