Cloudflare introduceert nieuwe classificaties, verbeterde analysetools en toonaangevende partnerschappen om transparante website-eigenaren en AI-ontwikkelingsbedrijven in staat te stellen hun middelen te bundelen om de bloei van het agentische internet te waarborgen. De nieuwe tools en integraties van Cloudflare helpen website-eigenaren en AI-ontwikkelingsbedrijven bij het optimaliseren van identificatie, efficiëntie en monetisatie. Met deze aankondiging draagt Cloudflare bij aan de vorming van een collaboratieve agentische economie die de maatschappij, website-eigenaren en AI-bedrijven ten goede komt.
De fundamentele aard van internetverkeer is veranderd. Geautomatiseerde agents en bots genereren nu meer dan de helft van alle webverzoeken. Naarmate AI zich vestigt als de nieuwe interface voor toegang tot informatie en het uitvoeren van online transacties, verandert het de regels voor contentontdekking. De meeste website-eigenaren willen hun content integreren met AI-systemen. Bedrijven waarvan het bedrijfsmodel afhankelijk is van advertenties of abonnementen, worden echter bedreigd door systemen die AI-modellen trainen op hun content zonder compensatie. Cloudflare vindt dat bedrijven die hun content willen integreren met AI-systemen, dit zo eenvoudig en efficiënt mogelijk moeten kunnen doen. Anderzijds zijn er ook tools nodig om de toegang van AI te beperken als een bedrijf deze integratie niet wenst. Als reactie op deze uitdaging test Cloudflare nieuwe standaardclassificaties die klanten meer diepgaande informatie kunnen bieden, AI-ondersteunde zoekopdrachten kunnen versnellen en ervoor kunnen zorgen dat makers eerlijk worden gecompenseerd wanneer hun content bijdraagt aan een zoekresultaat. Deze aanpak bevordert een rechtvaardiger systeem. Het optimaliseert de crawl-efficiëntie, beschermt intellectueel eigendom en stelt zowel makers als AI-modellen in staat te floreren binnen de agent-gebaseerde economie.
“Vorig jaar hebben we website-eigenaren de tools geboden die ze nodig hadden voor transparantie en controle over de bots die toegang hadden tot hun content. We zijn enthousiast over de voordelen die deze tools het ecosysteem hebben gebracht”, aldus Matthew Prince, medeoprichter en CEO van Cloudflare. “Nu het merendeel van het internetverkeer geautomatiseerd is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan. De nieuwe tools en partnerschappen van Cloudflare bieden website-eigenaren meer inzicht en zakelijke kansen. Ze zijn ook gunstig voor AI-ontwikkelingsbedrijven met bots die een duidelijke en transparante intentie hebben. We hopen dat de standaardwijzigingen die we voorstellen, crawlers voor gemengd gebruik zullen stimuleren om de zoekfunctie te scheiden van het gebruik en de training van agents.”
Deadline voor beëindigen open toegang tot exploratiebots voor gemengd gebruik
Uit de duizenden gesprekken die Cloudflare heeft gevoerd met AI-ontwikkelingsbedrijven en website-eigenaren is één ding duidelijk geworden: de meeste website-eigenaren willen vindbaar zijn binnen het AI-ecosysteem. Deze vindbaarheid mag echter niet betekenen dat intellectueel eigendom wordt weggegeven aan makers die hun werk te gelde maken via advertenties en/of abonnementen. Transparante AI-ontwikkelingsbedrijven hebben hiervoor de weg vrijgemaakt door hun bots duidelijk te scheiden en te labelen op basis van hun doel. Maar crawlingbots met een gemengd gebruik benadelen zowel website-eigenaren als transparante AI-bedrijven, omdat ze zoeken, agentgebruik en training combineren. Dit dwingt contenteigenaren te kiezen tussen vindbaarheid in het tijdperk van agency en het zonder compensatie afstaan van hun meest waardevolle content. De grootste zoekmachine op de markt heeft nu toegang tot bijna twee keer zoveel informatie als de toonaangevende AI-bedrijven, omdat laatstgenoemden het moeilijk maken voor klanten die willen dat hun content vindbaar blijft zonder te worden gebruikt voor AI-trainingsdoeleinden.
De komende twee maanden zal Cloudflare samenwerken met het ecosysteem, feedback verzamelen en tests uitvoeren om de nieuwe standaardinstellingen en classificaties te finaliseren, met een streefdatum van 15 september 2026. Voor nieuwe klanten en nieuwe websites van bestaande klanten is 15 september 2026 de datum waarop de standaardinstellingen zo worden geconfigureerd dat zoekactiviteit is toegestaan, maar training en agentgebruik op pagina’s met advertenties worden geblokkeerd. Crawlers voor gemengd gebruik, die website-eigenaren niet de mogelijkheid bieden om te kiezen tussen zoeken, agentgebruik en training, worden op al dergelijke pagina’s geblokkeerd. Klanten kunnen deze instellingen uiteraard op elk moment wijzigen via hun dashboard. De wijzigingen worden ook doorgevoerd voor alle bestaande gratis klanten die hun instellingen vóór 15 september 2026 niet in hun dashboard hebben aangepast. Deze wijzigingen zijn bedoeld om de balans te herstellen tussen traditionele zoekmachines en AI-ontwikkelingsbedrijven die de betekenis van vindbaarheid in het agenttijdperk herdefiniëren.
Verbeterde analysetools voor meer inzicht en het genereren van inkomsten met content
De markt voor gemonetariseerde content is nu een feit, met uitgevers en AI-platformen die het afgelopen jaar meer dan 50 belangrijke licentieovereenkomsten voor content hebben getekend. Om deze overeenkomsten te versnellen, lanceert Cloudflare het nieuwe Attribution Business Insights-dashboard. Dit dashboard elimineert de data-asymmetrie die contenteigenaren lange tijd dwong om blindelings te onderhandelen. Voor het eerst kunnen belanghebbenden (niet alleen beveiligings- en IT-teams) duidelijk zien hoe AI-bots hun content consumeren en de hoeveelheid menselijk verkeer volgen die specifieke AI-bedrijven daadwerkelijk genereren.
Inzicht in hoe AI content consumeert is echter slechts de eerste stap. Naarmate het identificatieproces verschuift van zoekmachines naar antwoordmachines, moeten klanten een nieuwe discipline beheersen: Answer Engine Optimization (AEO). AEO gaat niet alleen over het begrijpen van wie de content crawlt, maar ook hoe deze wordt geciteerd in door AI gegenereerde antwoorden, hoe vaak en met welke zichtbaarheid, in alle modellen. Net zoals webanalysetools essentiële infrastructuur zijn geworden in het zoektijdperk, wil Cloudflare de ultieme laag van monitoring- en optimalisatietools bieden die de basis vormen voor het AI-tijdperk.
Slimmer zoeken en eerlijke vergoeding
Onderhandelde contracten zijn misschien geschikt voor de grootste uitgevers, maar ze zijn niet schaalbaar voor de rest van het web. Cloudflare werkt op twee fronten om zowel contentmakers als AI-ontwikkelingsbedrijven te helpen: het verbeteren van de efficiëntie van AI-ondersteunde zoekopdrachten en het automatisch compenseren van contentmakers wanneer hun content wordt gebruikt. Momenteel crawlen AI-modellen en zoekmachines herhaaldelijk miljoenen ongewijzigde webpagina’s op zoek naar nieuwe data om gebruikersvragen te beantwoorden. Uit data van Cloudflare blijkt dat meer dan 50% van het crawlverkeer van AI-gestuurde bots wordt besteed aan het opnieuw analyseren van pagina’s die niet zijn gewijzigd. Dit leidt tot verspilling van bandbreedte voor uitgevers en rekenkracht voor AI-ontwikkelingsbedrijven, zonder dat de zoekresultaten daadwerkelijk verbeteren. Omdat Cloudflare kan zien wat er daadwerkelijk is veranderd, kunnen ze signaleren wanneer een pagina de moeite waard is om opnieuw te analyseren en wanneer de bewerking zinloos is. Dit vermindert onnodige crawls en levert betere resultaten op. Cloudflare test deze signalen met grote AI-ontwikkelingsbedrijven om te verifiëren hoe goed ze de actualiteit van informatie verbeteren en onnodig crawlen verminderen. We zijn van plan deze signalen later dit jaar breed beschikbaar te stellen.
Een jaar geleden, op de eerste Content Independence Day, lanceerde Cloudflare de eerste versie van zijn pay-to-crawl- functie. Deze functie was ontworpen om uitgevers de mogelijkheid te bieden AI-ontwikkelingsbedrijven te laten betalen voor het verkennen van hun content. Nu ontwikkelt Cloudflare dit pay-to-crawl-model verder naar een pay-per-use-model, zodat uitgevers betaald krijgen wanneer hun content daadwerkelijk waarde creëert, en niet alleen wanneer deze wordt gecrawld. Het bedrijf werkt samen met een aantal partners, waaronder Ceramic.ai en You.com, om hier een functionerende marktplaats van te maken. Met het Ceramic.ai-platform wordt een uitgever die ermee instemt deel te nemen aan het programma betaald telkens wanneer hun content verschijnt in de door AI ondersteunde zoekresultaten van Ceramic. Ze profiteren ook van de resulterende zoekopdrachten, citaties en backlinks. Andere AI-ontwikkelingsbedrijven kunnen het model gebruiken dat het beste bij hun workflow past. You.com biedt een agent bijvoorbeeld de mogelijkheid om te betalen voor toegang (op aanvraag) tot specifieke premium content die ze nodig hebben, terwijl Cloudflare de gemeenschappelijke onderliggende laag voor alle partijen levert.
Dit bericht is geplaatst op ons open Business channel en valt buiten de verantwoordelijkheid van de redactie.
