हिन्दी
अपनी वेबसाइट जाँचें

AI क्रॉलर के लिए robots.txt: GPTBot, ClaudeBot और PerplexityBot को अनुमति दें या रोकें

SEOgrinder की ओर से · प्रकाशित · 9 मिनट में पढ़ें

संक्षिप्त उत्तर: AI क्रॉलर के लिए robots.txt बॉट-दर-बॉट तय करती है कि कोई AI सिस्टम आपकी वेबसाइट पढ़ सकता है या नहीं। बॉट तीन तरह के हैं: ट्रेनिंग बॉट (GPTBot, ClaudeBot), सर्च बॉट (OAI-SearchBot, Claude-SearchBot, PerplexityBot) और वे बॉट जो उपयोगकर्ता के कहने पर कोई पेज लाते हैं (ChatGPT-User, Claude-User)। अगर आप चाहते हैं कि AI सर्च के जवाबों में आपकी साइट का हवाला आ सके, तो सर्च बॉट को अनुमति दीजिए। ट्रेनिंग की अनुमति देनी है या नहीं, यह आपका अपना फ़ैसला है। यह सब एक छोटी-सी फ़ाइल से होता है, पर फ़ाइल बनाने में एक छोटी चूक सारे नियमों को बेकार कर देती है।

AI क्रॉलर के लिए robots.txt सिर्फ़ एक नियम से क्यों नहीं बनती

पहले User-agent: * काफ़ी था। AI के मामले में यह नियम बहुत मोटा है, क्योंकि एक ही कंपनी अलग-अलग कामों के लिए अलग-अलग बॉट चलाती है। OpenAI खुद कहती है कि हर सेटिंग बाकी सेटिंग से स्वतंत्र है। आप OAI-SearchBot को अनुमति दे सकते हैं, ताकि आपकी साइट ChatGPT के सर्च नतीजों में दिख सके, और GPTBot को रोक सकते हैं, ताकि यह संकेत जाए कि आपकी सामग्री OpenAI के foundation मॉडलों की ट्रेनिंग में इस्तेमाल न हो (OpenAI)।

इसका मतलब यह है कि जो सिर्फ़ GPTBot को रोकता है, इस उम्मीद में कि वह ChatGPT से गायब हो जाएगा, उसे वह नतीजा नहीं मिलता जो वह चाहता था। और जो एहतियात के नाम पर सब कुछ रोक देता है, वह उन बॉट को भी बाहर कर देता है जो जवाबों में आपका नाम ले सकते थे।

AI क्रॉलर के तीन प्रकार

प्रकारबॉटरोकने पर क्या होता है
ट्रेनिंगGPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google)आप संकेत देते हैं कि आपकी सामग्री ट्रेनिंग में इस्तेमाल न हो। Google सर्च पर असर नहीं पड़ता
सर्चOAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot (Perplexity)उस सेवा के सर्च जवाबों में आपकी साइट नहीं दिखती, या कम दिखती है
उपयोगकर्ता के कहने परChatGPT-User (OpenAI), Claude-User (Anthropic)OpenAI के मामले में इन पर robots.txt के नियम शायद लागू न हों, क्योंकि अनुरोध किसी इंसान ने किया है। Anthropic कहती है कि आप Claude-User को नियंत्रित कर सकते हैं, और उसे रोकने से उपयोगकर्ता-निर्देशित सर्च में दृश्यता घट सकती है

इन कंपनियों ने खुद जो लिखा है, संक्षेप में:

  • OpenAI: जो साइटें OAI-SearchBot से बाहर रहने का विकल्प चुनती हैं, वे ChatGPT के सर्च जवाबों में नहीं दिखतीं, पर नेविगेशन लिंक के रूप में फिर भी आ सकती हैं। robots.txt बदलने के बाद सिस्टम को नए नियम अपनाने में लगभग 24 घंटे लग सकते हैं।
  • Anthropic: ClaudeBot को सीमित करने का मतलब यह संकेत देना है कि भविष्य की सामग्री को ट्रेनिंग डेटा से बाहर रखा जाए। Claude-SearchBot या Claude-User बंद करने पर सर्च नतीजों में आपकी दृश्यता घट सकती है। Anthropic robots.txt का पालन करती है, CAPTCHA को नहीं लाँघती और गैर-मानक Crawl-delay पंक्ति को समर्थन देती है (Anthropic)।
  • Perplexity: PerplexityBot का काम Perplexity के सर्च नतीजों में वेबसाइटों को दिखाना और उनसे लिंक करना है। उसे foundation मॉडलों के लिए सामग्री जुटाने में इस्तेमाल नहीं किया जाता, और Perplexity उसे अनुमति देने की सलाह देती है (Perplexity)।
  • Google: Google-Extended कोई अलग बॉट नहीं है, बल्कि robots.txt में लिखा जाने वाला एक टोकन है। यह तय करता है कि Google की क्रॉल की हुई सामग्री भविष्य के Gemini मॉडलों की ट्रेनिंग और grounding में इस्तेमाल हो सकती है या नहीं। इसका Google सर्च में शामिल होने पर कोई असर नहीं पड़ता और यह रैंकिंग सिग्नल नहीं है (Google)।

कंपनियाँ अपनी सूचियाँ बदलती रहती हैं। कोई नियम कॉपी करने से पहले ये दस्तावेज़ ज़रूर देख लीजिए।

तीन उदाहरण, जिन्हें आप अपने हिसाब से बदल सकते हैं

1. सब कुछ अनुमत, सिर्फ़ आंतरिक API बंद। seogrinder.com खुद यही तरीका अपनाता है: कई User-agent पंक्तियाँ एक ही नियम-समूह के ऊपर।

User-agent: *
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Disallow: /api/
Allow: /

Sitemap: https://www.example.com/sitemap.xml

2. सर्च की अनुमति, ट्रेनिंग से इनकार।

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

यह साइट के मालिक का फ़ैसला है, कोई सिफ़ारिश नहीं। अगर आप चाहते हैं कि आपकी सामग्री ज़्यादा से ज़्यादा जगह इस्तेमाल हो, तो उदाहरण 1 लीजिए। ध्यान रखिए कि Google-Extended ट्रेनिंग के साथ-साथ Gemini Apps और Vertex AI में grounding को भी छूता है। Google सर्च और AI Overviews पर इसका असर नहीं पड़ता।

3. सभी AI बॉट से इनकार। ऊपर गिनाए हर बॉट के नीचे Disallow: / लिख दीजिए। तब ChatGPT, Claude और Perplexity के सर्च जवाबों में आप कम दिखेंगे या बिल्कुल नहीं दिखेंगे (नेविगेशन लिंक और उपयोगकर्ता के कहने पर होने वाले अनुरोध फिर भी संभव रहते हैं)। Google के AI Overviews को आप Googlebot से नियंत्रित करते हैं, इन टोकन से नहीं। यह तभी समझदारी है जब आप सचमुच यही चाहते हों।

सावधान रहिए: बॉट का अपना समूह * वाले समूह की जगह ले लेता है

RFC 9309 के अनुसार क्रॉलर वही समूह मानता है जो उसके नाम से मेल खाता है। अगर उसका अपना समूह है, तो * वाला समूह उस पर लागू नहीं होता (RFC 9309)।

एक उदाहरण: User-agent: * के नीचे Disallow: /internal/ लिखा है। बाद में आप GPTBot के लिए अलग समूह बनाते हैं, जिसमें सिर्फ़ Allow: / है। अब /internal/ GPTBot के लिए वर्जित नहीं रहा। इसलिए हर समूह में नियम दोहराइए, या ऊपर के उदाहरणों की तरह कई User-agent पंक्तियाँ एक ही नियम-समूह के ऊपर रखिए।

इसी स्पेसिफ़िकेशन के दो और नियम टकराव में काम आते हैं: सबसे विशिष्ट मेल जीतता है (यानी सबसे लंबा पथ), और अगर Allow और Disallow बराबर लंबाई के हों, तो Allow लागू होता है।

एक वैकल्पिक पंक्ति जो बताती है कि सामग्री का उपयोग कैसे हो: Content-Signal

अनुमति देने और रोकने के अलावा एक वैकल्पिक पंक्ति भी है, जिसे Cloudflare ने सितंबर 2025 में शुरू किया। वह बताती है कि आपकी सामग्री किस काम में आ सकती है:

Content-Signal: search=yes, ai-input=yes, ai-train=no

search का संबंध सर्च इंडेक्स और स्निपेट से है, ai-input का AI जवाबों में सामग्री के सीधे इस्तेमाल से, और ai-train का ट्रेनिंग से। यह एक घोषणा है, ताला नहीं: इसे मानना स्वैच्छिक है। Cloudflare खुद कहती है कि Content Signals पसंद-नापसंद बताते हैं, तकनीकी रोक नहीं हैं, और कुछ कंपनियाँ उन्हें बस अनदेखा कर सकती हैं (Cloudflare)।

मानकों पर भी काम चल रहा है। Google के क्रॉलर-दस्तावेज़ में लिखा है कि Google 2027 की शुरुआत में AIPREF नाम के साझा, मशीन-पठनीय ट्रेनिंग-संकेत को समर्थन देना चाहता है, जिसे user-agent: __usage_ai-training के रूप में लिखा जाता है (Google)। तब तक Gemini की ट्रेनिंग और grounding का स्विच Google-Extended ही है।

robots.txt सुरक्षा नहीं है

RFC 9309 साफ़ कहता है: यह प्रोटोकॉल असली सुरक्षा उपायों का विकल्प नहीं है, और robots.txt में लिखे पथ हर किसी को दिखते हैं। जो बॉट नियम अनदेखे करता है, उसे आपकी फ़ाइल रोक नहीं पाती। जो सामग्री सार्वजनिक नहीं होनी चाहिए, उसके लिए लॉगिन या फ़ायरवॉल के नियम चाहिए। Anthropic यह चेतावनी भी देती है कि IP पते से रोकना ऑप्ट-आउट के रूप में भरोसेमंद नहीं है, क्योंकि तब उसका बॉट आपकी robots.txt पढ़ ही नहीं पाता।

अपनी robots.txt की जाँच कैसे करें

  1. ब्राउज़र में https://example.com/robots.txt खोलिए। हर सबडोमेन की अपनी अलग फ़ाइल होती है।
  2. SEOgrinder खोलिए, अपना पता डालिए और विश्लेषण शुरू कीजिए। खाते की ज़रूरत नहीं है।
  3. AI के लिए तैयारी टैब पर जाइए और "AI एजेंट के लिए जाँचें" के नीचे "AI बॉट संचालित करना" वाला बिंदु ढूँढिए। अगर बिंदु पूरा है, तो वहाँ लिखा होता है कि कितने AI क्रॉलर नियंत्रित हैं, कितने अनुमत हैं और कितने अवरुद्ध। अगर बिंदु अधूरा है, तो ट्रेनिंग और सर्च के लिए कोई स्पष्ट नियम नहीं मिला।
  4. पूरा हो चुका बिंदु खोला जा सकता है: वहाँ आपकी फ़ाइल में मिला टेक्स्ट दिखता है।
  5. एजेंट प्रॉम्प्ट कॉपी करें दबाइए और उसे अपने कोडिंग असिस्टेंट में चिपकाइए। अगर कोई नियम नहीं है, तो प्रॉम्प्ट बताता है कि क्या जोड़ना है; अगर है, तो वह असिस्टेंट से कहता है कि नियम को जाँचे और सिर्फ़ वही बदले जो गलत है। अनुमति देना या रोकना मालिक का फ़ैसला ही रहता है।
  6. बदलाव के बाद दोबारा जाँचें दबाइए। रिपोर्टें अधिकतम 24 घंटे तक कैश में रहती हैं; यह बटन नया रन ज़बरदस्ती चलाता है (घंटे में कुछ ही बार)।

OpenAI और Perplexity के सिस्टम नए नियम अपनाएँ, इसके लिए लगभग एक दिन का समय मानकर चलिए।

असली विज़िट पहचानना: लॉग और IP रेंज

कोई बॉट सचमुच आपकी साइट पर आता है या नहीं, यह आप सर्वर लॉग में यूज़र-एजेंट देखकर पता करते हैं। चूँकि कोई भी खुद को GPTBot बता सकता है, कंपनियाँ मिलान के लिए IP रेंज प्रकाशित करती हैं: OpenAI हर बॉट के लिए उन्हें JSON फ़ाइल के रूप में देती है, जैसे openai.com/gptbot.json, और Anthropic अपनी अलग सूची की ओर इशारा करती है। अगर कोई विज़िट इन रेंज से नहीं आई, तो नाम मेल खाने पर भी बहुत संभावना है कि वह उस कंपनी की नहीं है। यह तब काम आता है जब आप विज़िट का विश्लेषण करना चाहते हों या नकली बॉट को फ़ायरवॉल में पकड़ना चाहते हों। साथ ही Anthropic की चेतावनी याद रखिए: असली बॉट को उनके IP पते से मत रोकिए, वरना वे आपकी robots.txt पढ़ नहीं पाएँगे।

आम गलतियाँ

  • सबके लिए Disallow: / छोड़ देना। टेस्ट साइट लाइव हो जाती है और टेस्ट वाली रोक robots.txt में बनी रहती है। हर लॉन्च पर इसे जाँचिए।
  • ChatGPT से हटने के लिए सिर्फ़ GPTBot को रोकना। इससे ट्रेनिंग नियंत्रित होती है, सर्च नहीं।
  • समूह के भीतर खाली पंक्ति। कुछ पार्सर, जैसे Python का robotparser, तब उसके ऊपर लिखे नाम छोड़ देते हैं। User-agent पंक्तियाँ आपस में सटाकर रखिए।
  • सापेक्ष (relative) Sitemap पंक्ति। https:// के साथ पूरा पता लिखिए।
  • फ़ाइल गलत जगह रखना। वह रूट में होनी चाहिए: /robots.txt, किसी सबफ़ोल्डर में नहीं।
  • Content-Signal और llms.txt से ज़्यादा उम्मीद रखना। दोनों वैकल्पिक हैं, और रैंकिंग या हवालों पर इनका असर साबित नहीं है।

अक्सर पूछे जाने वाले सवाल

क्या मुझे AI क्रॉलर को अनुमति देनी चाहिए?

यह आपके लक्ष्य पर निर्भर करता है। अगर आप चाहते हैं कि AI सर्च के जवाबों में आपकी साइट का हवाला आ सके, तो सर्च बॉट को अनुमति दीजिए। ट्रेनिंग की अनुमति देना या न देना कारोबारी फ़ैसला है, और आप दोनों को अलग-अलग तय कर सकते हैं।

क्या Google-Extended रोकने से मैं Google से गायब हो जाऊँगा?

नहीं। Google कहता है कि Google-Extended का Google सर्च में शामिल होने पर कोई असर नहीं पड़ता और यह रैंकिंग सिग्नल नहीं है।

बदलाव कितनी जल्दी असर करता है?

OpenAI और Perplexity दोनों robots.txt बदलने के बाद लगभग 24 घंटे तक का समय बताते हैं।

क्या llms.txt और robots.txt एक ही चीज़ हैं?

नहीं। robots.txt पहुँच को नियंत्रित करती है। llms.txt एक प्रस्तावित फ़ाइल है, जिसमें भाषा मॉडलों के लिए आपकी साइट का सार होता है। दूसरे हाथ की रिपोर्टों के अनुसार Google उसे समर्थन नहीं देता (Search Engine Roundtable)। उसका कोई असर साबित नहीं है। इस फ़ाइल को विस्तार से llms.txt क्या है लेख में समझाया गया है।

क्या अलग-अलग फ़ोल्डर के लिए अलग नियम रखे जा सकते हैं?

हाँ। एक समूह के भीतर आप हर पथ के लिए Disallow और Allow तय कर सकते हैं। सबसे विशिष्ट मेल जीतता है।

आपका अगला कदम

अपनी robots.txt खोलिए और देखिए कि कहीं आपने गलती से सर्च बॉट तो नहीं रोक दिए। फिर मुफ़्त स्कैन चलाइए और देखिए कि "AI के लिए तैयारी" में "AI बॉट संचालित करना" पूरा है या नहीं। इसका मतलब है कि ट्रेनिंग और सर्च, दोनों के लिए एक स्पष्ट नियम मौजूद है। वह नियम अनुमति देता है या रोकता है, यह निष्कर्ष में दिखता है।

ब्लॉग के और लेख