Naar de inhoud
Tools

robots.txt-generator

Inclusief de AI-crawlers die je nergens anders kunt in- of uitschakelen

Draait in je browser. Er wordt niets geüpload.

WordPress basics
AI crawlers

Blocking a bot here asks it not to crawl. It is a request, not a fence — a crawler that ignores robots.txt is unaffected by anything on this page. Also worth knowing: blocking a search-adjacent AI bot can remove you from that product's citations, which is sometimes traffic you wanted.

Sitemap
robots.txt

WordPress serves a virtual robots.txt unless a real file exists at your web root. Upload this file and it takes over.

Over de robots.txt-generator

Genereer een WordPress robots.txt met de standaardregels — plus per-bot-schakelaars voor GPTBot, ClaudeBot, PerplexityBot, CCBot en Google-Extended. Bepaal wat er op jouw teksten traint, één selectievakje tegelijk.

Gerelateerd

Andere tools die je misschien nodig hebt

WordPress .htaccess-generator

De regels die WordPress nodig heeft, plus de beveiligingsregels die er niet standaard bij zitten

FAQ

Vragen

Schaadt het blokkeren van Google-Extended mijn zoekpositie?

Nee. Google-Extended bepaalt of je content wordt gebruikt om Gemini te trainen. Het heeft geen effect op Googlebot, op indexering, of op je positie in Google Zoeken. Dit is het meest voorkomende misverstand over de AI-crawler-richtlijnen.

Stopt robots.txt AI-bedrijven echt van het scrapen van mijn site?

Het stopt degene die het respecteren, wat de meeste van de genoemde zijn. Het is een verzoek, geen hek — een crawler die robots.txt negeert wordt er totaal niet door beïnvloed. Wie robots.txt verkoopt als bescherming tegen scrapen, overdrijft.

Waar komt het robots.txt-bestand terecht?

In de webroot van je site, naast wp-config.php, zodat het oplost op example.com/robots.txt. WordPress serveert een virtuele robots.txt als er geen echt bestand bestaat; het uploaden van een echt bestand neemt het over.