Wat betekent Crawl budget?
Crawl budget is de eindige capaciteit waarmee een crawler — of het nu Googlebot of GPTBot is — je site binnen een bepaalde periode ophaalt en verwerkt. Trage pagina’s, fouten en dubbele content verspillen dit budget, waardoor belangrijke pagina’s minder vaak of niet worden gelezen. Voor agentic e-commerce telt dit dubbel: AI-bots hebben een beperkt contextvenster en weinig geduld. Snelle, schone en goed gestructureerde pagina’s zorgen dat je crawl budget naar je belangrijkste product- en feed-URL’s gaat.