Перейти до вмісту
Інструменти

Генератор robots.txt

Разом з AI-краулерами, які більше ніхто не дає вам вимкнути

Працює у вашому браузері. Нічого не завантажується.

WordPress basics
AI crawlers

Blocking a bot here asks it not to crawl. It is a request, not a fence — a crawler that ignores robots.txt is unaffected by anything on this page. Also worth knowing: blocking a search-adjacent AI bot can remove you from that product's citations, which is sometimes traffic you wanted.

Sitemap
robots.txt

WordPress serves a virtual robots.txt unless a real file exists at your web root. Upload this file and it takes over.

Про Генератор robots.txt

Згенеруйте robots.txt для WordPress зі стандартними правилами — і перемикачами для кожного бота: GPTBot, ClaudeBot, PerplexityBot, CCBot і Google-Extended. Вирішуйте, що навчатиметься на ваших текстах, по одному прапорцю за раз.

Схоже

Інші інструменти, які можуть вам знадобитися

Генератор .htaccess для WordPress

Правила, потрібні WordPress, плюс правила захисту, яких немає з коробки

FAQ

Питання

Чи шкодить блокування Google-Extended моєму ранжуванню в пошуку?

Ні. Google-Extended керує тим, чи використовується ваш контент для навчання Gemini. Він жодним чином не впливає на Googlebot, на індексацію чи на вашу позицію в пошуку Google. Це найпоширеніше непорозуміння щодо директив для AI-краулерів.

Чи справді robots.txt зупинить AI-компанії від скрапінгу мого сайту?

Він зупиняє тих, хто його поважає, а це більшість названих. Це прохання, а не паркан — краулер, який ігнорує robots.txt, залишається зовсім не зачепленим. Хто продає robots.txt як захист від скрапінгу, той перебільшує.

Куди дівається файл robots.txt?

У кореневу вебпапку вашого сайту, поруч із wp-config.php, щоб він відкривався за адресою example.com/robots.txt. WordPress віддає віртуальний robots.txt, коли реального файлу немає; завантаження справжнього файлу перебиває його.