AI-verkeer

Beschikbaar opPlusScale

AI-assistenten lezen websites voor de mensen die ze gebruiken, en AI-bedrijven crawlen het web om zoekindexen te bouwen en modellen te trainen. In geen van die gevallen leest er een mens je pagina.

Het onderdeel AI Traffic van je dashboard laat zien hoeveel van je verkeer van AI komt, en van wie.

AI-verkeer wordt nooit meegeteld in je paginaweergaven, bezoekers, bouncepercentage of wat dan ook, en het wordt nooit gefactureerd. Dat geldt voor elk abonnement.

Wat het laat zien

• Het aandeel AI-verkeer tegenover menselijk verkeer in de gekozen periode.
• Een lijst van AI-verkeer in drie tabbladen:
  • User (gebruiker): een AI die een pagina ophaalt omdat iemand er net iets aan vroeg. ChatGPT, Claude, Perplexity en agentische browsers.
  • Search (zoeken): crawlers die de zoekindex van een AI opbouwen.
  • Training: crawlers die pagina's verzamelen om modellen te trainen.

Voor Search en Training moet je Cloudflare koppelen.

Wat Cabin standaard ziet

Het trackingscript van Cabin draait in de browser. Het ziet dus AI-agents die een pagina laden en de JavaScript ervan uitvoeren. Dat dekt het meeste User-verkeer.

Wat het niet ziet:

• Crawlers zoals GPTBot en ClaudeBot. Die downloaden de HTML en voeren nooit JavaScript uit.
• Geblokkeerde verzoeken. Als je server, host of CDN een bot blokkeert, laadt de pagina nooit, dus draait het script ook nooit.

Cloudflare koppelen

Staat je site achter Cloudflare, koppel die dan in de instellingen van je site onder AI traffic. Cabin leest dan de verzoeken van AI-crawlers uit je Cloudflare-statistieken, ook de verzoeken die Cloudflare heeft geblokkeerd, en voegt ze toe aan je dashboard. Geblokkeerde bots krijgen een label, bijvoorbeeld GPTBot (blocked).

• Het is alleen-lezen. Cabin wijzigt nooit je Cloudflare-instellingen.
• Bij het koppelen worden de laatste 30 dagen ingevuld. Daarna wordt het elk uur bijgewerkt.
• Alleen crawlers die door Cloudflare of via de gepubliceerde IP-reeksen van de aanbieder zijn geverifieerd, tellen mee. Verzoeken die zich voordoen als AI-crawler worden weggelaten.
• Cabin controleert het IP-adres van een crawler tegen die reeksen en slaat het nooit op.

Hoe agents worden herkend

Agents worden herkend aan de User-Agent-string die ze meesturen. Die wordt vergeleken met de door de community bijgehouden lijst ai.robots.txt. Gewone zoek- en social-crawlers zoals Googlebot tellen niet als AI. Die worden zoals altijd als bots weggefilterd.

Zie je een agent die volgens jou ontbreekt, laat het ons weten.