Claude से हवाला कैसे पाएँ: Anthropic के 3 बॉट और किसे अनुमति दें

संक्षिप्त उत्तर: Claude से हवाला मिलने का वादा कोई नहीं कर सकता। Anthropic का सहायता-पेज तीन रोबोट के नाम बताता है और यह भी कि हर एक को बंद करने पर क्या होता है; Claude जिन पेजों का नाम लेता है, उन्हें वह कैसे चुनता है, यह वहाँ नहीं लिखा है। आपके हाथ में robots.txt है। ClaudeBot वह सामग्री जुटाता है जो ट्रेनिंग में योगदान दे सकती है, Claude-User तब पेज लाता है जब कोई Claude से कुछ पूछता है, और Claude-SearchBot सर्च नतीजों की गुणवत्ता सुधारने पर काम करता है। आख़िरी दोनों के बारे में Anthropic लिखती है कि उन्हें बंद करने से सर्च में आपकी दृश्यता घट सकती है। ट्रेनिंग का फ़ैसला अलग है।

Claude से हवाला चाहिए, तो आपके हाथ में क्या है

पहले सीमा समझ लीजिए। Claude किसी जवाब में किसी पेज का नाम लेता है या नहीं, यह Claude तय करता है। Anthropic का सहायता-लेख "Does Anthropic crawl data from the web, and how can site owners block the crawler?" क्रॉलिंग और उससे बाहर रहने के बारे में है। वह बताता है कि कौन-से रोबोट हैं, हर एक किस काम का है और उसे कैसे सीमित किया जाए। Claude अपने स्रोत कैसे चुनता है, किसी बॉट को अनुमति देने से नाम लिया जाना शुरू होता है या नहीं, और बदलाव में कितना समय लगता है, यह वहाँ नहीं लिखा है। हमारे पास कोई ऐसा स्रोत नहीं जो हवालों पर robots.txt की किसी सेटिंग का असर साबित करे, इसलिए यह लेख कोई वादा नहीं करता।

उस पेज से आपको कामों का बँटवारा ज़रूर मिलता है। Anthropic कहती है कि वह रोबोट का इस्तेमाल "to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction" करती है, यानी मॉडल के विकास के लिए सार्वजनिक वेब से डेटा जुटाने, वेब में खोजने और उपयोगकर्ताओं के कहने पर वेब सामग्री लाने के लिए। पेज पर तारीख़ 7 अप्रैल 2026 है, और हमने उसे 4 नवंबर 2026 को खोला। Anthropic के बारे में हम जो भी कहते हैं, वह वहीं से है। जहाँ कोई वाक्य हमारी अपनी व्याख्या है, वहाँ हम यह लिख देते हैं।

पढ़ा जा सकना और हवाला दिया जाना एक बात नहीं है। जिस पेज को Anthropic के बॉट पढ़ सकते हैं, वह फिर भी किसी जवाब से छूट सकता है, और जिसे वे पढ़ ही नहीं सकते, उसमें उनके इस्तेमाल लायक कुछ नहीं मिलता। पढ़ा जा सकना वह हिस्सा है जो आपके हाथ में है। SEOgrinder उसी हिस्से को जाँचता है और हवालों को नहीं मापता; हमारा AI visibility checker वाला लेख यह फ़र्क़ समझाता है।

Anthropic के तीन बॉट एक तालिका में

उसी पेज में यह भी जुड़ा है कि उसके बॉट robots.txt के उद्योग-मानक निर्देशों का पालन करते हैं और सुरक्षा को दरकिनार करने से रोकने वाली तकनीकों (anti-circumvention technologies) का सम्मान करते हैं: यानी Anthropic का बॉट CAPTCHA को पार करने की कोशिश नहीं करेगा। किसी भी बॉट को अनुमति देने की सलाह वह पेज नहीं देता। वह बताता है कि किसी को बंद करने पर क्या होता है, और चुनाव आपके हाथ में रहता है।

बॉट 1: ClaudeBot, ट्रेनिंग वाला बॉट

तालिका के अनुसार ClaudeBot को सीमित करने का मतलब यह संकेत देना है कि आपकी भविष्य की सामग्री को Anthropic के ट्रेनिंग डेटासेट से बाहर रखा जाए। पेज "भविष्य की सामग्री" की बात करता है, और हम इससे ज़्यादा कुछ नहीं पढ़ते।

यहाँ यह मायने रखता है कि उस पंक्ति में क्या नहीं लिखा है। ClaudeBot के लिए Anthropic ट्रेनिंग से बाहर रखने की बात कहती है, सर्च पर किसी असर की नहीं; दृश्यता पर असर बाकी दोनों बॉट की पंक्तियों में आता है। यह एक तालिका की हमारी अपनी व्याख्या है, Anthropic का बयान नहीं, पर इससे लगता है कि अगर आप Claude के सर्च में मिलना चाहते हैं, तो ClaudeBot वह सेटिंग नहीं है जिस पर आपको नज़र रखनी है। ट्रेनिंग की अनुमति देनी है या नहीं, यह कारोबारी फ़ैसला है, और SEOgrinder यह आपके लिए नहीं लेता।

बॉट 2: Claude-User, पूछे जाने पर पेज लाने वाला बॉट

Claude-User एक अकेले अनुरोध के पीछे होता है: कोई Claude से सवाल पूछता है, और Claude जवाब देने के लिए कोई वेबसाइट खोल सकता है। Anthropic "may" (सकता है) लिखती है, यानी हर सवाल पर विज़िट हो, यह ज़रूरी नहीं।

Anthropic के अनुसार Claude-User से साइट के मालिक तय कर सकते हैं कि उपयोगकर्ता के शुरू किए इन अनुरोधों से कौन-सी साइटें खोली जा सकती हैं। इसे इस कथन के साथ पढ़िए कि उसके सारे बॉट robots.txt का पालन करते हैं, तो मतलब यह निकलता है कि आपकी फ़ाइल का नियम यहाँ भी लागू होता है। बाकी संचालक अलग हैं: OpenAI ChatGPT-User के बारे में लिखती है कि "robots.txt rules may not apply", यानी robots.txt के नियम शायद लागू न हों (OpenAI)। इसलिए हर संचालक का अपना पेज पढ़िए और एक का नियम दूसरे पर मत थोपिए।

अगर आप Claude-User को बंद करते हैं, तो Anthropic के अनुसार उसका सिस्टम उपयोगकर्ता के सवाल के जवाब में आपकी सामग्री नहीं ला सकता, जिससे उपयोगकर्ता-निर्देशित वेब सर्च में आपकी दृश्यता घट सकती है।

बॉट 3: Claude-SearchBot, सर्च बॉट

Claude-SearchBot वह रोबोट है जिसका वर्णन खुद सर्च नतीजों के बारे में है। Anthropic के अनुसार वह सर्च नतीजों की गुणवत्ता सुधारने के लिए वेब खँगालता है और सामग्री का विश्लेषण करता है, ताकि सर्च के जवाब ज़्यादा प्रासंगिक और सटीक हों। उसे बंद करने पर आपकी सामग्री सर्च ऑप्टिमाइज़ेशन के लिए इंडेक्स नहीं होती।

हमारी व्याख्या: अगर आप Claude के सर्च नतीजों में आना चाहते हैं, तो अपनी robots.txt में सबसे पहले Claude-SearchBot वाली पंक्ति जाँचिए, क्योंकि उसका काम सर्च के लिए इंडेक्स करना है। उसे अनुमति देना उस चीज़ की पूर्व-शर्त है जो पेज बताता है। यह इस बात का वादा नहीं कि कुछ दिखाया जाएगा।

किसे अनुमति दें? तीन सवाल

Anthropic यह नहीं कहती कि किस बॉट को अनुमति दें, इसलिए हम इस तरह तय करेंगे। यह हमारी राय है, Anthropic की नहीं।

1. क्या आप चाहते हैं कि आपके पेज Claude के सर्च नतीजों में आएँ? तो Claude-SearchBot को बंद मत कीजिए।
2. क्या आप चाहते हैं कि कोई आपके पेज के बारे में पूछे तो Claude उन्हें खोल सके? तो Claude-User को बंद मत कीजिए।
3. क्या आप चाहते हैं कि आपकी सामग्री ट्रेनिंग डेटासेट में जाए? यह ClaudeBot का फ़ैसला है, और वह पहले दो से अलग हो सकता है। कोई साइट तीनों को अनुमति दे सकती है या सिर्फ़ ट्रेनिंग से मना कर सकती है।

इनमें से कोई भी जवाब तकनीकी ग़लती नहीं है। ग़लती तब होती है जब आप अनजाने में फ़ैसला कर बैठते हैं, जैसे इसलिए कि किसी टेस्ट साइट का Disallow: / अब भी आपकी फ़ाइल में पड़ा है।

robots.txt में हर बॉट को अनुमति कैसे दें या रोकें

एक फ़ाइल जो सर्च और उपयोगकर्ता के कहने पर होने वाले फ़ेच की अनुमति देती है और ट्रेनिंग से मना करती है:

# ट्रेनिंग: आपका अपना फ़ैसला (यह उदाहरण मना करता है)
User-agent: ClaudeBot
Disallow: /

# सर्च और उपयोगकर्ता के कहने पर होने वाले फ़ेच
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

किसी बॉट को पूरी साइट से रोकने के लिए Anthropic का पेज बॉट के नाम वाली User-agent पंक्ति दिखाता है, जिसके बाद Disallow: / आता है, और यह आपके टॉप-लेवल डायरेक्टरी की robots.txt में रखना है। वह यह हर उस सबडोमेन के लिए करने को कहता है जिससे आप बाहर रहना चाहते हैं, इसलिए www.example.com और blog.example.com को अलग-अलग फ़ाइल चाहिए। बॉट को रोकने की जगह सिर्फ़ धीमा करना हो, तो पेज के अनुसार Anthropic गैर-मानक Crawl-delay पंक्ति को समर्थन देती है और ClaudeBot के लिए Crawl-delay: 1 का उदाहरण दिखाती है।

पेज यह चेतावनी भी देता है कि उसके बॉट के IP पते रोकना ठीक से काम नहीं कर सकता और बाहर रहने की गारंटी नहीं देता, क्योंकि तब Anthropic आपकी robots.txt पढ़ ही नहीं पाती। नियम robots.txt में लिखिए।

एक जाल मानक से आता है, Anthropic से नहीं। RFC 9309 के अनुसार क्रॉलर उस समूह को मानता है जो उसके नाम से मेल खाता है, और अगर उसका अपना समूह है, तो * समूह उस पर लागू नहीं होता। अगर आप Claude-SearchBot के लिए समूह जोड़ें, तो वे सारे नियम दोहराइए जो अब भी लागू रहने चाहिए। हमारा AI क्रॉलर के लिए robots.txt वाला लेख इसका हल दिखाता है और OpenAI व Perplexity को भी ढकता है।

हमारी अपनी फ़ाइल एक उदाहरण है, सिफ़ारिश नहीं। 4 नवंबर 2026 को हमने https://seogrinder.com/robots.txt को curl से मँगवाया: एक साझा समूह जिसमें * और नौ AI user agent हैं, जिनमें ClaudeBot, Claude-SearchBot और Claude-User भी हैं, और /api/ को छोड़कर सब कुछ अनुमत है। आपकी फ़ाइल अलग हो सकती है।

Anthropic की असली विज़िट और नकली में फ़र्क़

पेज एक सूची से जोड़ता है, claude.com/crawling/bots.json, और कहता है कि जिस क्रॉलर का स्रोत पता उसमें हो, वह Anthropic से आ रहा है। हमने उसे 4 नवंबर 2026 को खोला: एक JSON फ़ाइल, जिसमें पतों की रेंज और creationTime नाम का फ़ील्ड है, जिसमें 20 अक्टूबर 2026 लिखा था। वह बॉट के हिसाब से बँटी नहीं है, इसलिए वह यह दिखाती है कि विज़िट Anthropic की है, यह नहीं कि तीनों में से किस बॉट ने की। यह आप सिर्फ़ user agent के नाम से पढ़ सकते हैं, और वह नाम कोई भी हेडर में लिख सकता है, इसलिए कोई विज़िट तभी गिनिए जब उसका पता सूची में हो। फ़ाइल को समय-समय पर दोबारा मँगवाइए।

• लॉग में नाम खोजिए, वर्ज़न नहीं। पेज user-agent की पूरी स्ट्रिंग नहीं छापता। खाली लॉग रोक का सबूत नहीं है, क्योंकि पेज यह नहीं बताता कि बॉट कितनी बार आते हैं।
• जिस बॉट को challenge वाला पेज मिले, वह कुछ नहीं पढ़ता। Anthropic कहती है कि उसके बॉट CAPTCHA को नहीं लाँघते। वे JavaScript चलाते हैं या नहीं, यह उसके पेज पर नहीं है; हमारा AI क्रॉलर और JavaScript वाला लेख बताता है कि इस बारे में क्या पता है।

SEOgrinder कैसे मदद करता है

SEOgrinder मुफ़्त है, इसके लिए खाता नहीं चाहिए, और इसे हम बनाते हैं। पता डालिए, विश्लेषण शुरू कीजिए और रिपोर्ट खोलिए। यहाँ दो जगहें काम की हैं:

• AI के लिए तैयारी टैब, "AI एजेंट के लिए जाँचें": "AI बॉट संचालित करना" बताता है कि कितने AI क्रॉलर के लिए साफ़ नियम है, कितने अनुमत हैं और कितने रोके गए हैं, और रोके गए बॉट के नाम देता है। वह ClaudeBot, Claude-User और Claude-SearchBot को नाम से जानता है। ClaudeBot ट्रेनिंग बॉट गिना जाता है और Claude-SearchBot सर्च बॉट, और यह बिंदु तभी पूरा होता है जब ट्रेनिंग और सर्च, दोनों के लिए साफ़ नियम हो। अकेले Claude-User का नियम इनमें से किसी को तय नहीं करता।
• कार्य टैब, "AI क्रॉलर अनुमत हैं, पर सर्वर उन्हें लौटा रहा है — जाँचिए": SEOgrinder परखता है कि सर्वर चार तय बॉट-नामों को क्या जवाब देता है, सिर्फ़ उन्हें जिन्हें robots.txt अनुमति देती है, और उसकी तुलना ब्राउज़र से करता है। Anthropic के बॉट में सिर्फ़ ClaudeBot उनमें है, और यह टेस्ट सिर्फ़ नाम इस्तेमाल करता है।

किसी बिंदु पर एजेंट प्रॉम्प्ट कॉपी करें दबाइए, तो आपको अपने कोडिंग असिस्टेंट के लिए एक निर्देश मिलता है, और बदलाव के बाद दोबारा जाँचें दबाइए। SEOgrinder आपका सर्वर लॉग नहीं पढ़ता और यह नहीं मापता कि Claude आपकी साइट का नाम लेता है या नहीं।

आम गलतियाँ

• Claude के सर्च से बाहर होने के लिए ClaudeBot को रोकना। ClaudeBot के लिए Anthropic ट्रेनिंग से बाहर रखने की बात कहती है। सर्च पर असर बाकी दो बॉट के लिए बताया गया है।
• एहतियात के नाम पर तीनों को रोक देना। Claude-User और Claude-SearchBot के लिए Anthropic कहती है कि दृश्यता घट सकती है।
• robots.txt की जगह IP पते से रोकना। Anthropic के अनुसार यह काम न करे, ऐसा हो सकता है।
• सिर्फ़ मुख्य डोमेन ठीक करना। Anthropic हर उस सबडोमेन पर नियम माँगती है जिससे आप बाहर रहना चाहते हैं।
• एक बॉट के लिए समूह जोड़ना और साझा नियम खो देना। उसका अपना समूह * समूह की जगह ले लेता है।
• अनुमति पाए बॉट को हवाला समझ लेना। किसी बॉट को अनुमति देने से एक रुकावट हटती है; इससे नाम लिए जाने का वादा नहीं मिलता।

अक्सर पूछे जाने वाले सवाल

क्या मैं Claude से अपने पेज का हवाला दिलवा सकता हूँ?

नहीं। हवाला कोई ज़बरदस्ती नहीं दिलवा सकता, और Anthropic का पेज ऐसी कोई सेटिंग नहीं बताता जिससे हवाला मिले। आप रुकावटें हटा सकते हैं, ताकि उसके बॉट आपके पेज पढ़ सकें। Claude उनका नाम लेगा या नहीं, यह Claude का फ़ैसला है।

क्या ClaudeBot को रोकने से मैं Claude के सर्च से हट जाऊँगा?

Anthropic का पेज ऐसा नहीं कहता। ClaudeBot के लिए वह भविष्य की सामग्री को ट्रेनिंग डेटासेट से बाहर रखने की बात कहता है। सर्च पर जो असर वह बताता है, वे Claude-User और Claude-SearchBot से जुड़े हैं।

क्या SEOgrinder दिखाता है कि Claude मेरी साइट का हवाला देता है या नहीं?

नहीं। वह तकनीकी बुनियाद जाँचता है: क्या AI सिस्टम पेज तक पहुँच और उसे पढ़ सकते हैं।

आपका अगला कदम

अपनी robots.txt खोलिए और ClaudeBot, Claude-User और Claude-SearchBot खोजिए। हर एक का फ़ैसला सोच-समझकर कीजिए: एक तरफ़ सर्च और उपयोगकर्ता के कहने पर होने वाले फ़ेच, दूसरी तरफ़ ट्रेनिंग। अगर आपके पास सबडोमेन हैं, तो हर एक की फ़ाइल जाँचिए। इसके बाद SEOgrinder में मुफ़्त स्कैन चलाइए, AI के लिए तैयारी और कार्य टैब खोलिए और जो खुला है उसे ठीक कीजिए।

यह भी पढ़ें

• Perplexity में रैंक कैसे करें: PerplexityBot की 3 जाँचें
• ChatGPT में कैसे दिखें: 3 तकनीकी जाँचें, जिनका टेस्ट हमने किया
• GEO vs SEO: असल में क्या अलग है (और Google के अनुसार क्या नहीं)