AI visibility checker: क्या ChatGPT, Gemini और Perplexity आपकी वेबसाइट तक पहुँच सकते हैं?

संक्षिप्त उत्तर: AI visibility checker दो में से एक काम करता है। या तो वह गिनता है कि ChatGPT, Gemini या Perplexity कितनी बार आपके ब्रांड का नाम लेते हैं, या वह जाँचता है कि AI क्रॉलर आपके पेज तक पहुँचकर उन्हें पढ़ भी सकते हैं या नहीं। शुरुआत दूसरे से कीजिए: अगर कोई क्रॉलर रोका गया है, या आपका टेक्स्ट JavaScript चलने के बाद ही दिखता है, तो कोई ट्रैकिंग रिपोर्ट आपकी मदद नहीं करेगी। यह तैयारी की जाँच SEOgrinder मुफ़्त में और बिना खाते के चलाता है।

AI visibility checker असल में क्या मापता है

यह नाम दो अलग-अलग चीज़ों पर लगता है, और उन्हें आपस में मिला देने से गलत समाधान चुना जाता है।

ज़िक्र की ट्रैकिंग (mention tracking) AI असिस्टेंट को सवालों (प्रॉम्प्ट) की एक तय सूची भेजती है और दर्ज करती है कि जवाबों में आपका ब्रांड या आपका पता आता है या नहीं। यह सवाल "क्या हमारा ज़िक्र होता है?" का जवाब देती है। मुफ़्त और सशुल्क, दोनों तरह के ट्रैकर मौजूद हैं।

तैयारी की जाँच (readiness checking) आपकी अपनी वेबसाइट को देखती है। यह सवाल "क्या कोई AI सिस्टम हमारे पेज ला और पढ़ सकता है?" का जवाब देती है। यह तकनीकी सवाल है, और ज़्यादातर जाँचों का जवाब साफ़ हाँ या ना में होता है: क्या robots.txt में क्रॉलर को अनुमति है, क्या भेजे गए HTML में टेक्स्ट है, क्या पेज इंडेक्स हो सकता है। तैयारी की जाँच यह नहीं बताती कि कोई असिस्टेंट आपका नाम लेगा या नहीं। वह सिर्फ़ यह बताती है कि आपने साफ़ दिखने वाली रुकावटें हटा दी हैं या नहीं।

दोनों काम की हैं। वे अलग सवालों के जवाब देती हैं, और क्रम मायने रखता है।

तैयारी पहले क्यों आती है

तीन दर्ज तथ्य इसे समझाते हैं:

• ChatGPT सर्च OAI-SearchBot पर निर्भर है। OpenAI कहती है कि जो साइटें OAI-SearchBot से बाहर रहने का विकल्प चुनती हैं, वे ChatGPT के सर्च जवाबों में नहीं दिखतीं, हालाँकि वे नेविगेशन लिंक के रूप में फिर भी आ सकती हैं। robots.txt में बदलाव को असर दिखाने में लगभग 24 घंटे लग सकते हैं। स्रोत: OpenAI का क्रॉलर दस्तावेज़।
• AI क्रॉलर ज़्यादातर वही HTML पढ़ते हैं जो उन्हें दिया जाता है। Vercel और MERJ के दिसंबर 2024 के एक विश्लेषण में पाया गया कि जिन बड़े AI क्रॉलरों को देखा गया, उनमें से किसी ने JavaScript नहीं चलाया, जबकि Googlebot (Gemini के लिए) और AppleBot ने चलाया। हमारे जाँचे गए स्रोतों में यह विश्लेषण दोहराया नहीं गया है, इसलिए इसे एक कड़ी चेतावनी की तरह पढ़िए, स्थायी नियम की तरह नहीं। स्रोत: Vercel, The rise of the AI crawler।
• Google के AI फ़ीचर की कोई अतिरिक्त शर्त नहीं है। Google कहता है कि AI Overviews या AI Mode में दिखने के लिए कोई अतिरिक्त शर्त नहीं है और कोई विशेष ऑप्टिमाइज़ेशन भी नहीं। पेज का इंडेक्स होना और Google Search में स्निपेट के साथ दिखने लायक होना ज़रूरी है। स्रोत: Google Search Central।

सब मिलाकर बात यह है: अगर दरवाज़ा बंद है, तो कमरे के अंदर की चीज़ें कोई नहीं पढ़ सकता। ट्रैकर आपको एक छोटा आँकड़ा दिखाएगा, पर यह नहीं बताएगा कि आपकी robots.txt बॉट को रोक रही है या आपका पेज स्क्रिप्ट चलने तक खाली खोल है।

वे जाँचें जो तय करती हैं कि AI आपकी साइट पढ़ सकता है

Google पहली, चौथी और पाँचवीं पंक्ति की बात सीधे करता है। पेज का इंडेक्स होना और Search में स्निपेट के साथ दिखने लायक होना ज़रूरी है, और best practice के तौर पर robots.txt में तथा किसी भी CDN या होस्टिंग ढाँचे में क्रॉलिंग की अनुमति होनी चाहिए। Google बुनियादी चीज़ों में आंतरिक लिंक और टेक्स्ट रूप में रखी गई ज़रूरी सामग्री को भी गिनाता है।

कौन-सा AI क्रॉलर क्या करता है

OpenAI और Anthropic ट्रेनिंग, सर्च और उपयोगकर्ता के अनुरोध अलग-अलग रखती हैं; Perplexity और Google काम को दूसरे ढंग से बाँटते हैं। इसीलिए एक User-agent पंक्ति शायद ही कभी काफ़ी होती है।

स्रोत: OpenAI, Anthropic, Perplexity और Google। कंपनियाँ अपनी सूचियाँ बदलती रहती हैं, इसलिए कोई नियम कॉपी करने से पहले ये दस्तावेज़ देख लीजिए।

अगर आप सर्च में दिखना चाहते हैं पर ट्रेनिंग में इस्तेमाल नहीं होना चाहते, तो यह robots.txt में इस तरह लिखा जा सकता है। यह साइट के मालिक का फ़ैसला है, कोई सिफ़ारिश नहीं। ध्यान रखिए: Google-Extended ट्रेनिंग के साथ Gemini Apps और Vertex AI में grounding को भी छूता है, पर Google Search या AI Overviews को नहीं:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

एक बात और: जो क्रॉलर अपना अलग समूह पा लेता है, वह सिर्फ़ उसी समूह को मानता है और * वाले समूह को अनदेखा करता है (RFC 9309)। इसलिए किसी एक बॉट के लिए समूह बनाएँ, तो उसमें वे सारे नियम लिखिए जो उस पर लागू होने चाहिए। OpenAI के अनुसार बदलाव के बाद सिस्टम को लगभग 24 घंटे लगते हैं। विस्तार से यह सब AI क्रॉलर के लिए robots.txt लेख में है।

पाँच मिनट में तैयारी की जाँच चलाइए

1. SEOgrinder खोलिए, अपना पता डालिए और विश्लेषण शुरू कीजिए। खाते की ज़रूरत नहीं है।
2. रिपोर्ट में AI के लिए तैयारी टैब खोलिए।
3. "AI एजेंट के लिए जाँचें" पढ़िए। इसमें तीन बुनियादी बिंदु हैं (robots.txt, sitemap, AI क्रॉलर के नियम) और चार "अतिरिक्त" (Content-Signals, llms.txt, Markdown रूप, Link Headers)। अतिरिक्त बिंदु अलग-अलग निर्माताओं के सुझाव हैं, और जब उनमें से कोई अधूरा हो तो टूल खुलकर कहता है कि Google पर इनका असर साबित नहीं है।
4. पूरे हो चुके बिंदु खोले जा सकते हैं: वे आपकी फ़ाइलों में मिला टेक्स्ट दिखाते हैं। ध्यान रखिए कि SEOgrinder आपकी साइट को अपने नाम से खोलता है, GPTBot बनकर नहीं।
5. एजेंट प्रॉम्प्ट कॉपी करें दबाइए और उसे अपने कोडिंग असिस्टेंट में चिपकाइए। अधूरे बिंदु के लिए प्रॉम्प्ट बताता है कि क्या बनाना है और उसे कैसे जाँचना है; पूरे हो चुके बिंदु के लिए वह असिस्टेंट से कहता है कि जो मौजूद है उसे जाँचे और सिर्फ़ वही बदले जो गलत है।
6. पुष्टि के लिए दोबारा जाँचें दबाइए। रिपोर्टें अधिकतम 24 घंटे कैश में रहती हैं, इसलिए सुधार के बाद यही बटन इस्तेमाल कीजिए; यह घंटे में कुछ ही बार चलता है।

रिपोर्ट उन पेजों को भी चिह्नित करती है जो अपना इंटरफ़ेस सिर्फ़ ब्राउज़र में बनाते हैं। जो AI क्रॉलर JavaScript नहीं चलाते, उन्हें ऐसा पेज खाली दिख सकता है। SEOgrinder इस हाल को "पेज केवल ब्राउज़र में बनता है" नाम से कार्य टैब में दिखाता है। इसे विस्तार से AI क्रॉलर और JavaScript लेख में समझाया गया है।

SEOgrinder यह नहीं मापता कि ChatGPT, Gemini या Perplexity आपके ब्रांड का नाम सचमुच लेते हैं या नहीं। उसके पास कोई प्रॉम्प्ट-ट्रैकिंग नहीं है। वह तकनीकी बुनियाद जाँचता है: क्या AI सिस्टम आपका पेज पा और पढ़ सकते हैं?

शुरुआत हाथ से कीजिए: सवालों का टेस्ट

जब बुनियादी बिंदु हरे हो जाएँ, तब नतीजा मापिए। शुरू करने के लिए किसी सशुल्क टूल की ज़रूरत नहीं है। यह तरीका बिना किसी लागत के बताता है कि आज आप कहाँ खड़े हैं:

1. दस ऐसे सवाल लिखिए जो असली ग्राहक पूछेंगे। पुणे की किसी आइसक्रीम दुकान के लिए ये हो सकते हैं: "पुणे में सबसे अच्छी आइसक्रीम कहाँ मिलती है?", "[इलाके का नाम] में वीगन फ़्लेवर वाली दुकान कौन-सी है?" और "[दुकान का नाम] रविवार को खुली रहती है क्या?"
2. हर सवाल ChatGPT, Gemini और Perplexity से पूछिए, हर बार नई चैट में।
3. एक तालिका में दर्ज कीजिए: तारीख, असिस्टेंट, सवाल, आपका ज़िक्र हुआ या नहीं, स्रोत के तौर पर कौन-से पेज दिखे और आपकी जगह किसका नाम आया।
4. हर महीने उन्हीं सवालों के साथ टेस्ट दोहराइए।

जवाब एक रन से दूसरे रन में और एक उपयोगकर्ता से दूसरे में बदलते रहते हैं, इसलिए एक नतीजे पर प्रतिक्रिया करने की जगह कई दौरों में रुझान देखिए। दो तरह के सवाल आज़माइए। आपके नाम के बिना पूछे गए सवाल ("पुणे में सबसे अच्छी आइसक्रीम कहाँ मिलती है?") दिखाते हैं कि आपको खोजा भी जा रहा है या नहीं। आपके नाम वाले सवाल ("[दुकान का नाम] रविवार को खुली रहती है क्या?") दिखाते हैं कि आपके बारे में तथ्य सही हैं या नहीं। ये दो अलग समस्याएँ हैं: पहली में आपकी पहुँच कम है, दूसरी में जानकारी गलत या पुरानी है। दोनों को ठीक करने के तरीके अलग हैं। अगर आगे आपको बड़ी मात्रा में माप चाहिए, तो सशुल्क ट्रैकर वही प्रॉम्प्ट अपने आप चला सकता है।

उसके बाद ऐसे पेज बनाइए जिनका हवाला दिया जा सके

रुकावटें हटने के बाद बात सामग्री पर आती है। Google बुनियाद के रूप में इंसानों के लिए मददगार, भरोसेमंद सामग्री गिनाता है। नीचे के बिंदु हमारी अपनी राय हैं, किसी प्रदाता का कथन नहीं। किसी स्थानीय कारोबार के लिए इसका ठोस मतलब यह है:

• तथ्य टेक्स्ट में, तस्वीर में नहीं। नाम, पता, खुलने का समय, पेशकश और संपर्क पेज पर सामान्य टेक्स्ट के रूप में हों, सिर्फ़ किसी इमेज या PDF में नहीं।
• हर शीर्षक के नीचे एक जवाब। "खुलने का समय", "फ़्लेवर", "कैसे पहुँचें" अलग-अलग हिस्से हों। हमारी राय में छोटे, साफ़ वाक्य आसानी से उठाए जा सकते हैं।
• हर जगह एक जैसी जानकारी। वेबसाइट और दूसरी लिस्टिंग में खुलने का अलग-अलग समय सही जवाब बनने में बाधा डाल सकता है।
• एक sitemap और आंतरिक लिंक। sitemap का पता robots.txt में लिखिए और ज़रूरी पेजों को होमपेज से लिंक कीजिए, ताकि क्रॉलर ज़रूरी पेज आसानी से ढूँढ सकें। इस बात की कोई गारंटी नहीं कि सब कुछ क्रॉल या इंडेक्स होगा।
• दिखने वाले टेक्स्ट से मेल खाता structured data। Google AI फ़ीचर के लिए इसे ज़रूरी नहीं बताता। पर हमारी राय में यह जानकारी को साफ़ तौर पर बताने में मदद कर सकता है। SEOgrinder दिखाता है कि आपके पेज में कौन-से schema प्रकार हैं और जाने-पहचाने प्रकारों में कौन-से ज़रूरी फ़ील्ड गायब हैं।

हमारी आइसक्रीम दुकान के लिए JSON-LD का एक उदाहरण (schema.org में IceCreamShop प्रकार है)। यह पेज के हेड में एक script एलिमेंट के भीतर रहता है, और खुलने का समय उसी रूप में है जिसे Google स्थानीय कारोबारों के लिए दर्ज करता है:

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "IceCreamShop",
  "name": "उदाहरण आइसक्रीम पार्लर",
  "url": "https://www.example.com/",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "1, उदाहरण मार्ग",
    "postalCode": "411001",
    "addressLocality": "पुणे",
    "addressCountry": "IN"
  },
  "openingHoursSpecification": {
    "@type": "OpeningHoursSpecification",
    "dayOfWeek": ["Monday", "Tuesday", "Wednesday", "Thursday", "Friday", "Saturday", "Sunday"],
    "opens": "11:00",
    "closes": "22:00"
  }
}
</script>

आम गलतियाँ

• डर के मारे सब कुछ रोक देना। सभी बॉट के लिए Disallow: / आपको सर्च नतीजों से भी हटा देता है।
• ChatGPT से हटने के लिए GPTBot को रोकना। GPTBot ट्रेनिंग का बॉट है। ChatGPT सर्च OAI-SearchBot इस्तेमाल करता है, और हर सेटिंग स्वतंत्र है।
• ऐसा अलग समूह जो साझा नियम गिरा दे। जो क्रॉलर अपना समूह पा लेता है, वह उसी समूह को मानता है और * वाले समूह को अनदेखा करता है (RFC 9309)। कई User-agent पंक्तियाँ एक नियम-समूह के ऊपर रखिए, या नियम दोहराइए।
• ट्रैकर के स्कोर को इस बात का सबूत मान लेना कि पेज पढ़ा जा सकता है। जो पेज JavaScript के बिना खाली है, उसका ज़िक्र फिर भी दूसरे स्रोतों से हो सकता है, और आसानी से पढ़ा जा सकने वाला पेज भी अनदेखा रह सकता है।
• llms.txt को रैंकिंग का औज़ार मानना। रिपोर्टों के अनुसार Google के Gary Illyes ने कहा कि Google llms.txt को समर्थन नहीं देता, और John Mueller ने कहा कि उनकी जानकारी में कोई AI सिस्टम इसका उपयोग नहीं करता। ये दूसरे हाथ की रिपोर्टें हैं, देखिए Search Engine Roundtable। फ़ाइल जोड़ना सस्ता है, पर इसका असर साबित नहीं है। llms.txt क्या है लेख में इसका ब्योरा है।
• तुरंत बदलाव की उम्मीद। robots.txt अपडेट के बाद क्रॉलर को लगभग एक दिन दीजिए।
• सिर्फ़ एक बार टेस्ट करना। एक अकेली चैट से कम पता चलता है। कई असिस्टेंट आज़माइए और टेस्ट दोहराइए।
• वादों पर यकीन करना। "ChatGPT में गारंटी से पहले नंबर पर" का वादा कोई पूरा नहीं कर सकता।

अक्सर पूछे जाने वाले सवाल

क्या कोई मुफ़्त AI visibility checker है?

हाँ, दोनों तरह के। ज़िक्र जाँचने वाले टूल दिखाते हैं कि AI प्लेटफ़ॉर्म किसी ब्रांड का हवाला देते हैं या नहीं। SEOgrinder जाँचता है कि AI सिस्टम आपकी साइट तक पहुँचकर उसे पढ़ सकते हैं या नहीं, मुफ़्त और बिना खाते के।

क्या कोई चेकर गारंटी दे सकता है कि ChatGPT मेरे कारोबार का नाम लेगा?

नहीं। असिस्टेंट क्या जवाब दे, इसे कोई नियंत्रित नहीं करता। आप तकनीकी रुकावटें हटा सकते हैं और ऐसे पेज प्रकाशित कर सकते हैं जिनका हवाला दिया जाना बनता है। असिस्टेंट आपका नाम लेता है या नहीं, यह उसका अपना फ़ैसला है।

क्या GPTBot को रोकने से मैं ChatGPT के जवाबों से बाहर हो जाऊँगा?

नहीं। GPTBot ट्रेनिंग वाला क्रॉलर है। ChatGPT सर्च सिर्फ़ उन साइटों को दिखा सकता है जो OAI-SearchBot को अनुमति देती हैं, और उपयोगकर्ता के अनुरोध ChatGPT-User से होते हैं।

क्या मुझे llms.txt फ़ाइल चाहिए?

यह वैकल्पिक है। इसकी लागत कम है, और SEOgrinder इसकी जाँच करता है, पर रैंकिंग या हवालों पर इसका असर साबित नहीं है। यह robots.txt, sitemap या ऐसे पेजों की जगह कभी नहीं ले सकती जो असली सवालों के जवाब देते हैं।

कौन-सी जाँच पहले करूँ?

तैयारी की जाँच। अगर कोई क्रॉलर आपका पेज ला ही नहीं सकता, तो आगे की हर माप शून्य से शुरू होती है।

क्या AI visibility SEO से अलग चीज़ है?

हमारी राय में: Google के AI फ़ीचर के लिए बड़े हिस्से में नहीं, क्योंकि Google लिखता है कि AI Overviews और AI Mode के लिए SEO की बुनियादी बातें लागू रहती हैं। ChatGPT, Claude और Perplexity के लिए ऐसा कोई कथन नहीं है; उनके अपने क्रॉलर हैं और अपने नियम, जो robots.txt में रहते हैं।

आपका अगला कदम

अपनी ही साइट पर मुफ़्त स्कैन चलाइए और AI के लिए तैयारी टैब खोलिए। अगर तीन बुनियादी बिंदुओं में से कोई अधूरा है, तो पहले उसे ठीक कीजिए, "दोबारा जाँचें" दबाइए, और उसके बाद ही ज़िक्र की ट्रैकिंग या सवालों का टेस्ट शुरू कीजिए।