सीधे कंटेंट पर जाएं
Tools

robots.txt जनरेटर

उन AI क्रॉलर सहित जिन्हें टॉगल करने की सुविधा कोई और नहीं देता

आपके browser में चलता है. कुछ भी upload नहीं होता.

WordPress basics
AI crawlers

Blocking a bot here asks it not to crawl. It is a request, not a fence — a crawler that ignores robots.txt is unaffected by anything on this page. Also worth knowing: blocking a search-adjacent AI bot can remove you from that product's citations, which is sometimes traffic you wanted.

Sitemap
robots.txt

WordPress serves a virtual robots.txt unless a real file exists at your web root. Upload this file and it takes over.

robots.txt जनरेटर के बारे में

मानक नियमों के साथ एक WordPress robots.txt जनरेट करें — और GPTBot, ClaudeBot, PerplexityBot, CCBot, और Google-Extended के लिए प्रति-बॉट टॉगल। तय करें कि आपके लेखन पर क्या ट्रेन होगा, एक-एक चेकबॉक्स से।

मिलते-जुलते

दूसरे tools जिनकी आपको ज़रूरत पड़ सकती है

WordPress .htaccess जनरेटर

वे नियम जो WordPress को चाहिए, साथ ही वे सुरक्षा नियम जो इसके साथ डिफ़ॉल्ट रूप से नहीं आते

FAQ

सवाल

क्या Google-Extended को block करने से मेरी search ranking को नुकसान होता है?

नहीं. Google-Extended यह तय करता है कि आपका content Gemini को train करने में इस्तेमाल हो या नहीं. इसका Googlebot, indexing या Google Search में आपकी position पर कोई असर नहीं पड़ता. AI crawler directives को लेकर यही सबसे आम ग़लतफ़हमी है.

क्या robots.txt वाकई AI companies को मेरी site scrape करने से रोक देगी?

यह उन्हीं को रोकती है जो इसका सम्मान करते हैं, जो कि नामित crawlers में से ज़्यादातर हैं. यह एक अनुरोध है, कोई बाड़ नहीं — जो crawler robots.txt को नज़रअंदाज़ करता है उस पर बिल्कुल असर नहीं पड़ता. जो कोई robots.txt को scraping से बचाव के तौर पर बेच रहा है वह बढ़ा-चढ़ाकर कह रहा है.

robots.txt file कहाँ जाती है?

आपकी site के web root में, wp-config.php के साथ, ताकि यह example.com/robots.txt पर मिले. जब कोई असली file नहीं होती तो WordPress एक virtual robots.txt serve करता है; एक असली file upload करने पर वह उसकी जगह ले लेती है.