Generatore di robots.txt
Compresi i crawler AI che nessun altro ti permette di attivare o disattivare
Gira nel tuo browser. Niente viene caricato.
Informazioni su Generatore di robots.txt
Genera un robots.txt per WordPress con le regole standard — e interruttori per singolo bot per GPTBot, ClaudeBot, PerplexityBot, CCBot e Google-Extended. Decidi cosa si addestra sui tuoi testi, una casella alla volta.
Correlati
Altri strumenti che potrebbero servirti
FAQ
Domande
Bloccare Google-Extended danneggia il mio posizionamento nei motori di ricerca?
No. Google-Extended controlla se i tuoi contenuti vengono usati per addestrare Gemini. Non ha alcun effetto su Googlebot, sull'indicizzazione o sulla tua posizione nella Ricerca Google. È il singolo malinteso più comune sulle direttive per i crawler AI.
robots.txt fermerà davvero le aziende di AI dallo scraping del mio sito?
Ferma quelle che lo rispettano, cioè la maggior parte di quelle nominate. È una richiesta, non un recinto — un crawler che ignora robots.txt ne è del tutto immune. Chiunque venda robots.txt come protezione contro lo scraping sta esagerando.
Dove va il file robots.txt?
Nella web root del tuo sito, accanto a wp-config.php, così da risolversi all'indirizzo example.com/robots.txt. WordPress serve un robots.txt virtuale quando non esiste un file reale; caricandone uno reale, questo prende il sopravvento.