Cloudflare kondigde op 1 juli 2026 nieuwe instellingen aan waarmee website-eigenaren AI-crawlers anders kunnen regelen. Het klinkt technisch, maar de gevolgen zijn direct merkbaar: wie niet oplet, kan vanaf 15 september per ongeluk zijn eigen site voor Google verbergen.
Meer dan 20 procent van het hele web draait achter het netwerk van Cloudflare. Veel ondernemers gebruiken het, vaak zonder dat ze de details weten, via hun hostingprovider of een geinstalleerde plugin. De aankondiging raakt daarom een heleboel kleine bedrijven.
Wat verandert er voor AI-crawlers?
Tot nu toe had Cloudflare een knop om alle AI-bots in een keer te blokkeren. Dat was grof: een crawler die inhoud ophaalt voor een zoekmachine (zoals Google) viel in dezelfde groep als een crawler die data verzamelt om een AI-model te trainen.
Cloudflare onderscheidt nu drie soorten verkeer, zo meldt het bedrijf op zijn eigen blog:
- Search: een crawler die je site indexeert zodat je verschijnt in zoekresultaten. Denk aan Googlebot.
- Agent: een bot die namens een echte bezoeker een taak uitvoert, zoals ChatGPT-User die een pagina ophaalt om een vraag te beantwoorden.
- Training: een crawler die je inhoud gebruikt om een AI-model te trainen of te verfijnen.
Website-eigenaren kunnen per categorie apart kiezen wat ze toelaten.
Waarom je Google-zichtbaarheid plotseling kan verdwijnen
Vanaf 15 september 2026 stelt Cloudflare nieuwe standaardinstellingen in. Op pagina's die advertenties tonen, worden Training en Agent standaard geblokkeerd. Search blijft toegestaan.
Het addertje onder het gras zit bij crawlers die meerdere doelen combineren. Googlebot, BingBot en Applebot doen namelijk aan Search en tegelijk aan Training. Volgens Cloudflare worden zulke multi-purpose crawlers beoordeeld op hun meest beperkende regel. Wie dus Training blokkeert, blokkeert daarmee ook Googlebot, zelfs voor het zoekdeel.
Volgens Search Engine Journal betekent dit dat klanten die via de oude "Block AI bots"-knop Training uitsluiten, na 15 september mogelijk ook Google uit hun site weren. Het resultaat: je pagina's worden niet meer geindexeerd en je verdwijnt uit de zoekresultaten.
Wat kun je nu doen?
Je hoeft niet te wachten tot september. Cloudflare laat website-eigenaren in de Security-instellingen zelf kiezen welke regels gelden. Wie de nieuwe standaard niet wil, kan dat tot 15 september aangeven.
Een paar stappen die nu verstandig zijn:
- Controleer of je site achter Cloudflare draait. Vraag je webbouwer of hostingprovider als je het niet zeker weet.
- Kijk naar de AI-bot-instellingen. Staat "Block AI bots" aan? Dan loop je straks kans dat ook Googlebot wordt tegengehouden.
- Kies per categorie. Wil je zichtbaar blijven in Google? Zorg dan dat Search-crawlers door mogen, ook als je Training blokkeert.
- Test je indexering. Zoek in Google op "site:jouw-domein.nl" om te zien hoeveel pagina's Google kent. Doe dat nu, en herhaal het na 15 september.
Wie dit liever niet zelf uitzoekt, kan het onderdeel maken van website onderhoud. Dan blijven beveiliging, instellingen en indexering structureel gecontroleerd, zonder dat je elke wijziging hoeft te volgen.
Wat dit betekent voor jouw website
De nieuwe Cloudflare-regels geven ondernemers meer controle over wie hun inhoud ophaalt. Dat is positief. Maar wie de instellingen niet begrijpt, kan zichzelf per ongeluk onzichtbaar maken voor Google.
De eenvoudigste vuistregel: wil je door klanten gevonden worden? Zorg er dan voor dat zoekmachines je site kunnen lezen. Wie een nieuwe website laten maken overweegt, doet er goed aan meteen te vragen hoe de hosting en crawler-instellingen zijn geregeld.
Check vóór 15 september of Google jouw site nog gewoon kan bereiken. Het is een klein moment van aandacht dat je een groot verlies aan bezoekers kan besparen.