1 op de 5 Nederlandse websites blokkeert AI-zoekmachines zonder het te weten

Iedereen schrijft inmiddels over GEO en ‘AI-proof content’. Maar veel Nederlandse sites struikelen een stap eerder: de AI-bot komt de deur niet eens door. We scanden de techniek van de 500 populairste NL-sites. De cijfers hieronder komen rechtstreeks uit die scan. 

• 21,1% blokkeert actief minstens één AI-crawler in robots.txt, en wie blokkeert doet het meestal meteen grondig: gemiddeld 6,3 bots tegelijk.
• De zwaarst geblokkeerde bots zijn GPTBot en CCBot (beide 16,3%), niet de namen die je verwacht.
• Alle grote nieuwsmedia op twee na zetten de deur dicht voor 10 van de 11 bots.
• En de sites die wél openstaan? Slechts 1,5% heeft FAQ-schema op de homepage.

De afgelopen maanden ging het vooral over de tekst: schrijf hapklare antwoorden, gebruik koppen als vragen, denk in ‘oprolbare’ content. Allemaal terecht. Maar er zit een aanname onder die zelden wordt getest: dat de AI-assistent jouw pagina überhaupt mág en kán lezen.

Wij beheren zelf vijftien Nederlandse websites en meten doorlopend hoe AI-zoekmachines daarmee omgaan. Toen we dat breder wilden trekken, scanden we op 10 juni 2026 de 500 populairste Nederlandse domeinen (Tranco-ranglijst), puur op de techniek en niet op de teksten.

We keken naar één vraag: hoeveel van deze sites laten de crawlers van ChatGPT, Claude, Gemini en Perplexity binnen, en hoeveel geven die crawlers iets te pakken waar een AI-antwoord op te bouwen valt?

Van de 500 domeinen waren er 393 bereikbaar en te analyseren. De overige 107 vielen af om praktische redenen: ze reageerden tijdens de scan niet (een time-out of serverfout), blokkeerden onze scanner via een bot-bescherming zoals een Cloudflare-controle, of stuurden door naar een buitenlands of niet-werkend adres.

De Telegraaf was op het meetmoment bijvoorbeeld onbereikbaar. Alle percentages hieronder zijn berekend over die 393.

De cijfers: een vijfde verliest het gevecht vóór de inhoud

Van de 393 bereikbare domeinen:

• 21,1% (83 sites) blokkeert actief minstens één AI-crawler in robots.txt. Eén op de vijf van de bekendste sites van Nederland zegt dus letterlijk “nee” tegen de bots die de antwoorden van AI-assistenten voeden.
• 15% (59 sites) blokkeert er drie of meer tegelijk.
• Vier sites blokkeren alle elf bots die we testten, in één klap.

De blokkades zijn bovendien absoluut. Van de 83 blokkeerders zetten er 27 meteen 10 of 11 bots tegelijk dicht, terwijl 20 sites er precies één blokkeren. Gemiddeld blokkeert een blokkerende site 6,3 van de 11 bots. 

Dat blijkt zodra je de robots.txt-bestanden naast elkaar legt: 63% van de blokkeerders (52 van de 83) sluit GPTBot, ClaudeBot én CCBot in precies dezelfde regelset af.

Zo’n identiek blok ontstaat zelden uit losse afwegingen per bot. Het wijst op één tekstblok dat van site naar site is gekopieerd. 

Welke bots krijgen de meeste deuren dicht?

Ten eerste staat CCBot even hoog als GPTBot, en Bytespider op plek drie. Dat zijn precies de bots die zelden in de vakdiscussie genoemd worden, terwijl Common Crawl de grondstof is voor een groot deel van alle taalmodellen. Wie alleen op ‘GPTBot’ let, mist de helft.

Ten tweede lopen de OpenAI-bots sterk uiteen: GPTBot wordt door 16,3% geblokkeerd, ChatGPT-User door 11,2% en OAI-SearchBot maar door 7,9%. GPTBot traint het model, OAI-SearchBot is de bot die jouw pagina ophaalt om je te citeren in een live ChatGPT-antwoord.

Veel sites blokkeren dus vooral de trainingsbot en laten de citeerbot eerder met rust. Soms is dat een bewuste keuze, vaker is het toeval. Veel robots.txt-blokken zijn gekopieerd in 2023, toen GPTBot zo’n beetje de enige naam was die rondging.

OAI-SearchBot en ChatGPT-User kwamen pas later, toen OpenAI training en citatie in aparte bots opsplitste. Die nieuwere regels zijn nooit toegevoegd.

De andere helft van het probleem: open, maar leeg

Dan de andere groep: de sites die de deur wél openzetten, maar binnen niets bruikbaars hebben staan.

• Slechts 1,5% (6 sites) heeft FAQ-schema op de homepage: de gestructureerde vraag-antwoordopmaak waar AI-assistenten een vraag exact op een antwoord laten matchen. 98,5% mist dit signaal volledig.
• 6,6% (26 sites) heeft een llms.txt, het bestand waarmee je AI-modellen expliciet de weg wijst.
• 6,4% (25 sites) heeft een tabel op de homepage, het formaat dat een model het makkelijkst letterlijk overneemt.

De klassieke SEO-basis ligt er bij de helft wél: 51,4% heeft gestructureerde data op de homepage, 48,9% heeft een sitemap. Maar dat is grotendeels oude erfenis: generieke schema en een sitemap, niet iets dat speciaal voor generatieve zoekmachines is ingericht. De stap van “ik heb schema” naar “ik heb het schema dat een AI-antwoord aan een vraag koppelt” heeft bijna niemand gezet.

En dit zijn geen achterblijvers. 

Het zijn de 500 best bezochte sites van het land: bedrijven met marketingteams, bureaus en budget. En toch mist een vijfde AI-zichtbaarheid al voordat er één woord content is beoordeeld, en laat de meerderheid die wél binnenlaat de makkelijkste punten liggen.

De nieuwsmedia: bewust dicht, en consequent

Bij de grote nieuwsmerken is het blokkeren wél een bewuste keuze. We controleerden ze apart:

• NOS, NU.nl, AD, RTL Nieuws, de Volkskrant, Trouw en Het Parool blokkeren elk 10 van de 11 bots.
• NRC blokkeert er 2.
• BNR blokkeert er 6.

Voor uitgevers is dit verdedigbaar: hun verdienmodel is het artikel zelf, en een AI-assistent die het antwoord samenvat haalt de klik weg. De auteursrechtdiscussie loopt nog.

Juist daarom is het leerzaam voor wie géén uitgever is. Een vergelijkingssite, een dienstverlener of een lokale ondernemer heeft het tegenovergestelde belang: je wílt dat de AI je noemt, want de vermelding levert de klant op. 

Toch staan in onze scan tientallen niet-media-sites met precies hetzelfde dichtgetimmerde robots.txt-blok als dat van de NOS. Zij hebben die blokkade klakkeloos van een uitgever overgenomen.

Voor een nieuwsmerk is AI buitensluiten logisch; voor een vergelijkingssite of dienstverlener pakt dezelfde regel juist verkeerd uit, want die wil door AI genoemd worden.

Hoe kan dat? Drie nuchtere verklaringen

Bij de niet-media-blokkeerders zien we in de praktijk steeds dezelfde drie oorzaken.

1. Geërfde robots.txt-regels. Toen GPTBot en consorten in 2023 opkwamen, was de reflex bij veel grote sites om ze te blokkeren, uit auteursrechtzorg of gewoon “voor de zekerheid”. Dat de blokkades nu zo geclusterd zijn (63% blokkeert dezelfde drie bots samen) laat zien hoe die regels zich verspreid hebben: gekopieerd van een voorbeeld, nooit meer herzien. Diezelfde bots bepalen inmiddels wie er in een AI-antwoord verschijnt. Je beschermt content die niemand meer steelt, en sluit jezelf uit van het kanaal waar je klant nu zoekt.
2. Niemand is eigenaar. SEO is van marketing, robots.txt is van development. AI-vindbaarheid valt precies tussen die twee in. Het gevolg: het staat op niemands lijstje, dus er gebeurt niets. Dat 10,2% van de sites (40 stuks) helemaal geen robots.txt heeft, hoort bij hetzelfde beeld: door niemand bewust ingericht.
3. FAQ-schema voelt als “nice to have”. Voor klassieke SEO leverde het hooguit een rich snippet op. Voor AI-assistenten is het iets anders: het is de schoonste manier om te zeggen “dit is de vraag, dit is exact het antwoord”. Dat de teller op 1,5% blijft hangen, terwijl 51,4% wél andere structured data heeft, betekent dat bijna niemand z’n opmaak heeft aangepast aan hoe deze nieuwe lezers werken. De infrastructuur ligt er, de laatste stap niet.

Dat het wél kan: een kleine NL-site die clicks uit ChatGPT haalt

Dat dit nu al werkt, zien we op onze eigen sites. Eén ervan, een vergelijkingssite in een nichemarkt, totaal geen groot of bekend merk, krijgt aantoonbaar affiliate-clicks die via ChatGPT binnenkomen. 

Er zat geen groot budget of technisch hoogstandje achter. Wat de site wél doet: de crawlers netjes toelaten, vragen letterlijk als kop beantwoorden, FAQ-schema eronder zetten en een paar vergelijkingstabellen tonen die een model moeiteloos overneemt. Precies de drie dingen die in de scan het schaarst zijn.

Het verschil zit in een handvol keuzes die je in een middag maakt, en die de overgrote meerderheid nog niet heeft gemaakt. Geld of geheime kennis komen er niet aan te pas.

Wat je deze maand concreet doet (in oplopende moeite)

Een checklist die je vandaag kunt afvinken:

1. Open je robots.txt en lees wie je blokkeert. Zoek op GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot. Staat daar een Disallow? Grote kans dat het een gekopieerd blok is dat je nooit bewust hebt gekozen, want bij 63% van de blokkeerders zit precies die combinatie. Tijd: 5 minuten.
2. Let speciaal op CCBot en de ‘search’-bots. CCBot wordt even vaak geblokkeerd als GPTBot maar voedt veel meer modellen. En als je OpenAI bewust wilt blokkeren voor training, laat dan in elk geval OAI-SearchBot en ChatGPT-User open: dat zijn de bots die je juist citeren in een antwoord.
3. Controleer of je überhaupt indexeerbaar bent. Een sitemap en werkende interne links blijven de basis, en bij ruim de helft van de sites ontbreekt de sitemap nog. Een AI-model kan alleen citeren wat een crawler heeft kunnen vinden.
4. Herschrijf je belangrijkste koppen als de vraag die je klant stelt. “Onze diensten” wordt “Wat kost [dienst] in 2026?”. Het antwoord komt er direct onder, in de eerste twee zinnen, niet na drie alinea’s aanloop.
5. Voeg FAQ-schema toe aan je belangrijkste pagina’s. Dit is je grootste relatieve voorsprong: 98,5% doet het niet. Vijf echte vragen met bondige antwoorden, in FAQPage-structured-data. Een halve dag werk voor je developer, en je springt van de grootste naar de kleinste groep.
6. Maak je feiten ‘overneembaar’. Prijzen, specificaties en vergelijkingen in een nette tabel worden veel vaker letterlijk door een AI-assistent overgenomen dan dezelfde info in lopende tekst. Toch heeft maar 6,4% van de sites een tabel op de homepage.
7. Overweeg een llms.txt. Nog jong en geen garantie, maar je hoort meteen bij de 6,6% die de moeite neemt AI-modellen de weg te wijzen.

De rode draad

De discussie over AI-zichtbaarheid is de afgelopen tijd vooral over schrijven gegaan. Onze cijfers laten zien dat de winst voor de meeste Nederlandse organisaties een stap eerder ligt: zorg eerst dat de AI-bot binnenkomt en iets bruikbaars vindt. Dat is vooral uitvoerend werk: een paar regels nakijken, een gekopieerd blok weghalen en het juiste schema aanzetten.

De sites die dat nu doen, bouwen een voorsprong op in een kanaal waar 98,5% van hun concurrenten nog niets heeft ingericht. Die voorsprong is goed haalbaar, omdat bijna niemand het al heeft gedaan.

Het volledige onderzoek (methodiek en de cijfers per bot) staat op writgo.nl/onderzoek/ai-crawlers-nederland.