Cloudflare helpt websites met weren van AI training door bots

Cloudflare heeft een nieuwe instelling geïntroduceerd waarmee je kunt voorkomen dat AI-modellen jouw teksten gebruiken voor training. Deze functie zorgt ervoor dat er een regel wordt toegevoegd aan het robots.txt-bestand van je website die training verbiedt, terwijl zoekmachines zoals Googlebot, Applebot en Bingbot je pagina's nog wel gewoon mogen indexeren voor de normale zoekresultaten. Hiermee herstelt Cloudflare een eerdere opzet waarbij het volledig blokkeren van AI-bots ook direct zorgde voor een blokkade van de gewone zoekmachines.

Wat er precies verandert

De nieuwe optie heet Disallow AI Training en maakt deel uit van de beveiligingsinstellingen van Cloudflare. Volgens nieuwswebsite Search Engine Journal zorgt deze functie ervoor dat zogenaamde mixed-use crawlers, die zowel voor zoekresultaten als voor AI-training worden gebruikt, alleen toegang krijgen tot je site voor zoekopdrachten. Cloudflare laat deze crawlers alleen toe als ze door het platform als betrouwbaar zijn aangemerkt. Dit betekent onder andere dat de eigenaar van de bot belooft dat het weigeren van AI-training geen negatieve invloed heeft op je positie in de gewone zoekresultaten.

Op dit moment voldoen Google, Apple en Microsoft aan deze eisen. Voor Google werkt de instelling via een blokkade voor Google-Extended, wat specifiek de training voor het Gemini-model stopt zonder je gewone positie in Google Search te schaden. Voor Apple blokkeert het Applebot-Extended. Bij Microsoft wordt er nog gewerkt aan de ondersteuning in robots.txt, wat waarschijnlijk begin 2027 klaar is. Tot die tijd gebruikt Microsoft nog de NOARCHIVE-tag om training voor Copilot te omzeilen. Cloudflare zet bestaande gebruikers die voorheen AI-bots blokkeerden automatisch over naar deze nieuwe instelling.

Wat dit betekent voor jou

Als zelfstandige coach of adviseur schrijf je waarschijnlijk veel waardevolle artikelen om klanten aan te trekken. Je wilt natuurlijk dat potentiële klanten jouw artikelen vinden via Google door een goede seo voor coaches toe te passen. Tegelijkertijd wil je niet dat techgiganten jouw unieke methodes en kennis gratis gebruiken om hun AI-modellen te trainen, waardoor mensen jouw website niet meer hoeven te bezoeken.

Met deze verandering kun je jouw intellectuele eigendom beschermen zonder dat je direct onzichtbaar wordt in de zoekmachines. Als je voorheen handmatig alle AI-bots blokkeerde, liep je het risico dat Google je website helemaal niet meer indexeerde. Met deze nieuwe optie blijft je vindbaarheid intact terwijl je toch de controle houdt over je eigen content.

Wat je nu kunt doen

1. Controleer je Cloudflare-instellingen: Log in op je Cloudflare-account en controleer of de instelling Disallow AI Training actief is voor jouw domein.
2. Controleer je Google Search Console: Controleer de instellingen in Search Console om te bepalen of jouw content getoond mag worden in de AI Overviews van Google.
3. Optimaliseer je vindbaarheid: Zorg dat je website technisch goed blijft functioneren en richt je op het zoekwoorden kiezen die jouw ideale doelgroep echt intypt.