robots.txt

Tag 1 artikelen beschikbaar

AI & TECH

AI-crawlers blokkeren of toelaten? Robots.txt-bestanden van Nederlandse websites onderzocht

Wat staat er eigenlijk in de robots.txt-bestanden van Nederlandse organisaties over AI-crawlers? En maken organisaties daarbij onderscheid tussen crawlers met verschillende functies,…

info94 1 uur geleden