AI-crawlers blokkeren of toelaten? Robots.txt-bestanden van Nederlandse websites onderzocht

Wat staat er eigenlijk in de robots.txt-bestanden van Nederlandse organisaties over AI-crawlers? En maken organisaties daarbij onderscheid tussen crawlers met verschillende functies, zoals GPTBot en OAI-SearchBot?

Om dat te onderzoeken heb ik begin september 2026 de robots.txt opgehaald van de 250 populairste Nederlandse .nl-domeinen uit de Tranco-ranglijst. Ik onderzocht hoe organisaties omgaan met twaalf AI-crawlers. Na een vooraf vastgelegde selectie bleven 153 organisaties over. Van 142 daarvan kwam de robots.txt daadwerkelijk binnen.

De opvallendste uitkomst: 91 van de 142 organisaties noemen geen enkele van de twaalf onderzochte AI-crawlers bij naam. Tegelijkertijd blokkeren 24 van de 25 onderzochte nieuwssites minstens één AI-crawler.

Trainen of citeren: wat 142 Nederlandse robots.txt-bestanden werkelijk regelen

De verschillen tussen sectoren zeggen op zichzelf niets over welke aanpak beter of slechter is. Ze laten zien dat organisaties AI-crawlers op dit moment op verschillende manieren behandelen in hun robots.txt-bestanden. Welke aanpak passend is, hangt onder meer af van de doelen, content en afwegingen van een organisatie.

GPTBot en OAI-SearchBot hebben verschillende functies

In de robots.txt van de NOS staat GPTBot bij de crawlers die niet binnen mogen. OAI-SearchBot staat er niet bij. Allebei zijn het crawlers van OpenAI, maar ze worden voor verschillende doeleinden ingezet.

GPTBot wordt gebruikt voor het crawlen van webcontent die onder meer kan worden gebruikt voor modeltraining. OAI-SearchBot wordt gebruikt voor het crawlen van webpagina’s voor zoekfunctionaliteit binnen ChatGPT.

Wie GPTBot blokkeert, beperkt daarmee de toegang van die crawler tot content die onder meer voor modeltraining kan worden gebruikt. Wie OAI-SearchBot blokkeert, beperkt de mogelijkheid voor ChatGPT om content via die crawler voor zoekfunctionaliteit op te halen.

Twee verschillende functies dus. En toch maken de meeste robots.txt-bestanden dat onderscheid niet expliciet.

Wat betekent toestaan of blokkeren in deze meting?

Bij het beoordelen van robots.txt is het belangrijk onderscheid te maken tussen een expliciete regel voor een specifieke AI-crawler en de uitwerking van algemene regels.

Een crawler die niet bij naam in een robots.txt voorkomt, is daarmee niet automatisch toegestaan of geblokkeerd. Ook algemene user-agentgroepen en de toepasselijke regels spelen een rol.

In dit onderzoek maak ik daarom onderscheid tussen crawlers die expliciet bij naam worden genoemd en de regels die hun toegang volgens de onderzochte robots.txt bepalen. Een ontbrekende vermelding is op zichzelf geen bewijs van een bewuste keuze om toegang te verlenen.

De meting beschrijft de regels die in september 2026 in de onderzochte bestanden waren vastgelegd. Ze geeft geen uitsluitsel over de intentie van organisaties, eventuele aanvullende toegangsmaatregelen of hun bredere AI-beleid.

91 organisaties noemen geen enkele AI-crawler

Van de 142 organisaties blokkeren 37 GPTBot en 24 OAI-SearchBot.

Dertien organisaties weren dus wel GPTBot, maar niet OAI-SearchBot. Op basis van de onderzochte regels wordt de toegang van de crawler voor modeltraining beperkt, terwijl er geen expliciete beperking voor OAI-SearchBot is vastgelegd.

Alleen komt bij elf van die dertien OAI-SearchBot helemaal niet in het bestand voor.

Het onderscheid zit dus wel in de uitkomst, maar niet altijd expliciet in het bestand. Daaronder vallen onder meer de NOS, RTL Nieuws, BNR, de VPRO, NPO Radio 1 en de Autoriteit Persoonsgegevens.

Dat zegt niet dat deze organisaties bewust voor deze configuratie hebben gekozen. Een robots.txt laat zien welke regels zijn vastgelegd, niet waarom.

Waarom de uitwerking van een robots.txt kan veranderen

Een robots.txt-bestand werkt met user-agents. Je kunt specifieke crawlers bij naam noemen, maar ook een algemene groep gebruiken, zoals User-agent: *.

Voor crawlers die je niet afzonderlijk noemt, bestaat daardoor niet automatisch een specifieke AI-regel. De toepasselijke regels uit het bestand bepalen hoe de crawler volgens de robots.txt wordt behandeld.

Robots.txt-bestanden bevatten regels die op een bepaald moment zijn vastgelegd. De manier waarop die regels uitwerken, kan veranderen wanneer nieuwe crawlers verschijnen of bestaande crawlers andere functies krijgen.

Een bestand dat destijds voor een bepaalde situatie is opgesteld, hoeft daardoor niet automatisch aan te sluiten op de huidige functies en mogelijkheden van AI-crawlers. Dat betekent niet dat een organisatie haar configuratie niet bijhoudt of dat de gemaakte keuzes onjuist zijn. Het laat vooral zien dat de betekenis van bestaande regels kan veranderen naarmate het AI-landschap zich ontwikkelt.

Op basis van alleen een robots.txt-bestand is niet vast te stellen wanneer een configuratie voor het laatst is beoordeeld, welke afwegingen eraan ten grondslag liggen of hoe deze zich verhoudt tot het bredere AI-beleid van een organisatie.

Er zijn twee organisaties die het onderscheid in deze meting wel expliciet maken: AT5 en NH Nieuws blokkeren GPTBot en laten OAI-SearchBot expliciet toe.

In de robots.txt van AT5 staan ruim veertig user-agents bij naam, van BingCopilot tot cohere-training-data-crawler.

Wie verschillende AI-crawlers afzonderlijk wil behandelen, moet ze immers ook afzonderlijk herkennen en configureren.

De sectoren lopen ver uiteen

Nieuws is de duidelijkste groep. Vierentwintig van de vijfentwintig nieuwssites blokkeren minstens één AI-crawler.

Aan de andere kant staan de kennisinstellingen. In de twintig onderzochte robots.txt-bestanden van universiteiten en kennisinstituten wordt geen enkele van de onderzochte AI-crawlers bij naam genoemd.

Dat is opvallend omdat vijftien van de twintig kennisinstellingen een eigen robots.txt hebben geschreven in plaats van de standaardversie van hun CMS te laten staan. Sommige bevatten bovendien expliciete regels voor bijvoorbeeld stylesheets en JavaScript.

Er is dus in elk geval aandacht besteed aan crawler-toegang, maar niet aan de AI-crawlers die ik in deze meting onderzocht. Dat zegt op zichzelf niets over de intentie van deze organisaties.

Bij de overheid is het beeld vergelijkbaar: vijftien van de achttien noemen geen AI-crawler.

De sectorverschillen zijn een beschrijving van de onderzochte bestanden. Ze geven geen oordeel over de kwaliteit van het AI-beleid van de betrokken organisaties.

Je zou kunnen tegenwerpen dat organisaties AI-crawlers misschien weren via de algemene groep, het blok dat begint met User-agent: *. Van de 91 organisaties die geen onderzochte AI-crawler bij naam noemen, zet er precies één dat blok helemaal dicht.

Bij de overige bestanden staan in die algemene groep beperkingen voor specifieke paden, meestal een beheeromgeving. Dat betekent niet automatisch dat iedere AI-crawler toegang heeft tot alle content. De toepasselijke regels en eventuele aanvullende technische maatregelen blijven relevant.

Van 250 domeinen naar 142 robots.txt-bestanden

Om de selectie controleerbaar te houden, zijn de 250 populairste .nl-domeinen vooraf beoordeeld.

97 domeinen zijn uitgesloten omdat het bijvoorbeeld technische domeinen, buitenlandse platforms, tweede domeinen van dezelfde organisatie of domeinen zonder organisatie waren.

Van de 153 overgebleven organisaties kon bij 142 de robots.txt worden opgehaald. Bij elf lukte dat niet.

Bij 134 van de 142 lukte het ophalen met een user-agent die zich als onderzoekscrawler bekendmaakt. Acht organisaties gaven pas iets af aan een gewone browser-user-agent. Bij elf organisaties kwam geen bruikbaar bestand binnen.

De volledige selectie, de uitgesloten domeinen en de redenen daarvoor zijn opgenomen in de dataset van dit onderzoek. Ook de details over de HTTP-statuscodes en de mislukte verzoeken zijn daar terug te vinden.

Hoe is blokkeren bepaald?

Per crawler is gekeken naar de meest specifieke user-agentgroep die op zijn naam van toepassing is.

Staat er bijvoorbeeld:

User-agent: GPTBot

Disallow: /prive/