Disallow

technical-seo

Disallow is een robots.txt directive die crawlers vertelt welke URL-paden ze niet mogen crawlen. Disallow: /admin/ blokkeert alle URL's die beginnen met /admin/. Het is de meest gebruikte directive in robots.txt en de primaire manier om crawlers van specifieke pagina's weg te houden.

Wat is Disallow?

Disallow blokkeert het crawlen van URL's die matchen met het opgegeven pad:

User-agent: * Disallow: /admin/ Disallow: /search Disallow: /temp/

Matching-regels:

  • Disallow: /admin/ blokkeert /admin/, /admin/users, /admin/settings
  • Disallow: /search blokkeert /search, /search?q=test, /search-results
  • Disallow: (leeg) staat alles toe
  • Disallow: / blokkeert de hele site

Disallow voorkomt crawlen, niet indexeren. Een gedisallowde pagina kan nog steeds in de Google-index verschijnen als andere pagina's ernaar linken. Gebruik noindex als je een pagina uit de index wilt houden.

Waarom belangrijk

Correcte Disallow-regels beschermen je crawlbudget door crawlers weg te houden van pagina's die niet geïndexeerd hoeven te worden: admin-panelen, zoekresultaten-pagina's, login-pagina's, en interne API-endpoints.

Te brede Disallow-regels zijn gevaarlijk. Disallow: / blokkeert je hele site. Disallow: /blog blokkeert ook /blog-archive en /bloggers. Wees specifiek en test met Google's robots.txt tester.

Voorbeeld

Veelgebruikte Disallow-regels:

User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /search? Disallow: /*?sort= Disallow: /*?page= # Wildcard: blokkeer alle PDF's Disallow: /*.pdf$

Test of een specifieke URL geblokkeerd is: Search Console > robots.txt tester.

Gerelateerd