TL;DR
De meeste webshops doen er goed aan AI-bots toe te laten: een geblokkeerde bot kan je niet aanbevelen of citeren. Je kunt wel differentiëren — bijvoorbeeld trainingsbots weren maar zoek- en shopbots toelaten — zodat je zichtbaar blijft voor agents zonder al je content aan trainingssets prijs te geven. robots.txt regelt toegang; llms.txt begeleidt agents naar je belangrijkste pagina's.
De kernvraag: wat win je, wat verlies je?
Rond AI-bots heerst koudwatervrees: “ze stelen mijn content”. Begrijpelijk, maar voor een webshop is de afweging anders dan voor een uitgever. Jouw doel is verkopen, en daarvoor moet je gevonden en aanbevolen worden. Een geblokkeerde bot kan dat laatste per definitie niet.
Onzichtbaarheid is geen bescherming. Een bot die je niet mag lezen, kan je ook niet aan een koper aanbevelen.
De belangrijkste bots op een rij
- GPTBot & OAI-SearchBot — van OpenAI, voor modellen en zoekfuncties. Toelaten vergroot je kans op vermelding in ChatGPT.
- ClaudeBot — de crawler achter Claude. Toelaten houdt je zichtbaar voor die assistent.
- PerplexityBot — voedt een zoekmachine die bronnen expliciet citeert; juist daar wil je in voorkomen.
- Google-Extended— bepaalt of je content gebruikt mag worden voor Google's AI-functies, los van de gewone Googlebot.
Differentiëren in plaats van alles-of-niets
De keuze is geen aan/uit-knop. In je robots.txt kun je per user agent sturen. Een veelgebruikte middenweg:
- Toelaten wat je zichtbaar maakt in zoek- en koopcontexten (zoek- en shopbots).
- Overwegen te weren wat puur voor modeltraining ophaalt, als je daar principiële bezwaren tegen hebt.
Zo behoud je je vindbaarheid voor agents terwijl je grip houdt op trainingsgebruik.
Voor de meeste webshops: toelaten
Tenzij je een concrete reden hebt om content af te schermen, weegt zichtbaarheid voor agents zwaarder dan de angst voor scraping. Laat de relevante zoek- en shopbots toe, en gebruik llms.txt om ze actief naar je beste pagina's te leiden.
Maak je eigen llms.txt
Laat AI-bots niet alleen toe, maar wijs ze ook de weg. Genereer in een minuut een correct bestand.
Naar de generator