Microsoft heeft zijn gratis analysetool Clarity uitgebreid met een nieuwe functie in Bot Analytics: het dashboard laat nu zien welke AI-crawlers zich niet aan robots.txt houden op jouw website. Dat meldt Microsoft zelf op de Clarity-blog, bevestigd door techsite ppc.land en Search Engine Journal. De update ging op 23 juni 2026 live voor alle Clarity-gebruikers met een gekoppelde CDN.
AI-crawlers en robots.txt: wat zie je in het dashboard?
In Bot Analytics vind je nu een kaart met overtredingen: het percentage bot-verzoeken dat ondanks de regels in je robots.txt toch bepaalde pagina's probeert te bezoeken. Daarnaast zie je een trendlijn over tijd en kun je filteren op de naam van de bot en de partij die erachter zit. Per URL is bovendien te zien welke pagina's de meeste niet-toegestane bot-bezoeken trekken, naast een vergelijking met bots die zich wel aan de regels houden.
Goed om te weten: robots.txt is een vrijwillige afspraak. Een bot die de regels negeert, krijgt daar geen technische tik voor, want het bestand werkt alleen als een crawler zich er zelf aan houdt. Clarity grijpt dus niet in en blokkeert niets automatisch. Het maakt vooral inzichtelijk wat er gebeurt, zodat jij kunt beslissen of je verdere stappen neemt.
Voor wie werkt dit en wat heb je nodig?
De functie werkt voor iedereen die Clarity gebruikt en de site heeft gekoppeld aan een ondersteunde CDN, zoals Cloudflare, Fastly, Amazon CloudFront, Azure Front Door of Akamai. Clarity zelf is gratis te gebruiken, zonder limiet op het aantal bezoekers of sessieopnames. De toegang tot deze data kost je dus in principe niets, behalve het instellen van de koppeling met je CDN.
Wat betekent dit voor jou als ondernemer?
Steeds meer AI-systemen sturen crawlers over het web om content te verzamelen voor chatbots en AI-zoekresultaten. Wil je zelf bepalen wie welke delen van je site mag lezen, dan begint dat bij een kloppend robots.txt-bestand, zoals we eerder beschreven in ons artikel over een markdown-versie van je site voor AI. Met deze update van Clarity zie je voor het eerst concreet of die regels ook worden gerespecteerd, in plaats van dat je het maar moet aannemen.
Heb je geen tijd om dit zelf wekelijks te checken, of twijfel je of je site technisch klaar is voor de manier waarop AI-crawlers en zoekmachines hem nu bezoeken? Met onze website-onderhoud houden we dat soort zaken voor je in de gaten. Vraag vrijblijvend een offerte aan, dan kijken we samen waar je staat.