वेबसाइट Google पर नहीं दिख रही? 7 जाँचें जो वजह पकड़ती हैं

संक्षिप्त उत्तर: वेबसाइट Google पर नहीं दिख रही हो, तो वजह अक्सर ऐसी होती है जिसे आप ख़ुद जाँच सकते हैं। पहले पक्का कीजिए कि पेज सच में Google के इंडेक्स से ग़ायब है। फिर सात जाँचें इसी क्रम में कीजिए: स्टेटस कोड, noindex, robots.txt, soft 404, JavaScript, साइटमैप और लिंक, और समय। पेज कब दिखेगा, यह कोई नहीं बता सकता। Google के मुताबिक़ क्रॉलिंग में “can take anywhere from a few days to a few weeks”, यानी कुछ दिनों से कुछ हफ़्तों तक लग सकते हैं। और इंडेक्स हो जाने का मतलब अच्छी रैंकिंग नहीं है।

वेबसाइट Google पर नहीं दिख रही? पहले पक्का कीजिए कि पेज सच में ग़ायब है

“नहीं दिख रही” के तीन अलग मतलब हो सकते हैं, और यह लेख सिर्फ़ पहले की बात करता है:

• पेज Google के इंडेक्स में नहीं है। Google ने उसे सहेजा ही नहीं, इसलिए वह किसी भी खोज के नतीजे में नहीं आ सकता। नीचे की सात जाँचें इसी की वजह ढूँढती हैं।
• पेज इंडेक्स में है, पर वहाँ नहीं जहाँ आप देख रहे हैं। Page indexing रिपोर्ट की Google सहायता कहती है कि खोज के नतीजे हर उपयोगकर्ता के खोज इतिहास, लोकेशन और दूसरी बातों के हिसाब से ढलते हैं। इसलिए इंडेक्स हुआ पेज हर खोज में नहीं दिखता, और हर बार एक ही जगह भी नहीं। यह रैंकिंग का सवाल है, इंडेक्सिंग का नहीं।
• पेज बिल्कुल नया है। तब समय सबसे संभावित वजह है (जाँच 7)। नए पेज के लिए जाँच 6 और जाँच 7 साथ पढ़िए।

यह कैसे पता करें कि आपका मामला कौन-सा है:

• सटीक पते की खोज कीजिए। Google में site:https://your-site.example/your-page टाइप कीजिए। Page indexing रिपोर्ट की सहायता छोटी साइटों के लिए पहले टेस्ट के तौर पर यही रूप बताती है: site: और उसके बाद सटीक URL। URL Inspection की सहायता पेज के URL को खोजना यह देखने की निर्णायक जाँच कहती है कि पेज दिखता है या नहीं।
• Search Console से पूछिए। URL Inspection टूल दिखाता है कि Google ने एक पते के बारे में क्या सहेज रखा है। “URL is on Google” का मतलब है कि पेज खोज के नतीजों में आने के योग्य है, पर वहाँ होना पक्का नहीं (“eligible to appear in Search results, but is not guaranteed to be there”)। “URL is not on Google” का मतलब है कि वह नहीं आ सकता। “URL is unknown to Google” का मतलब है कि Google ने यह पता पहले कभी नहीं देखा। सहेजा हुआ जवाब लाइव नहीं होता; मौजूदा पेज को लाइव टेस्ट जाँचता है।

इस लेख में Search Console के नाम अंग्रेज़ी इंटरफ़ेस वाले रूप में लिखे हैं, जैसे Page indexing, URL Inspection, Test live URL। हिंदी इंटरफ़ेस में इनके हिंदी नाम दिखते हैं।

अगर पेज Search Console की “Why pages aren’t indexed” तालिका में पहले से है, तो स्थिति का नाम बताता है कि आगे कहाँ देखना है:

7 जाँचें, उसी क्रम में जिसमें आप उन्हें करेंगे

शुरुआती जाँचें आगे की हर चीज़ को रोक देती हैं, इसलिए क्रम मत बदलिए। your-site.example की जगह अपना पता रखिए।

जाँच 1: क्या पेज स्टेटस 200 लौटाता है?

Google के HTTP स्टेटस कोड वाले पेज के मुताबिक़ Google 4xx स्टेटस लौटाने वाले URL को इंडेक्स नहीं करता, और जो इंडेक्स हो चुके URL अचानक 4xx लौटाने लगें, वे इंडेक्स से हटा दिए जाते हैं। लगातार सर्वर त्रुटियों (5xx) पर Google क्रॉलिंग धीमी कर देता है, और ऐसे URL आख़िरकार छोड़ दिए जाते हैं। रीडायरेक्ट फ़ैसला अपने लक्ष्य पर छोड़ देता है: Google रीडायरेक्ट करने वाले URL की सामग्री को अनदेखा करता है, और Page indexing रिपोर्ट के मुताबिक़ “Page with redirect” ख़ुद इंडेक्स नहीं होता। 200 शर्त है, वादा नहीं: 2xx स्टेटस “doesn't guarantee indexing”, यानी इंडेक्सिंग की गारंटी नहीं देता।

दो रुकावटें आसानी से छूट जाती हैं। लॉगिन Googlebot को बाहर रखता है, क्योंकि वह कोई क्रेडेंशियल नहीं भेजता। और फ़ायरवॉल या बॉट-सुरक्षा Googlebot को त्रुटि लौटा सकती है, जबकि आपका ब्राउज़र पेज देख लेता है। Google की सहायता में ग़लत तरीक़े से कॉन्फ़िगर की गई फ़ायरवॉल और DoS सुरक्षा को Googlebot को अनजाने में रोकने का एक तरीक़ा बताया गया है।

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/your-page

आपको 200 चाहिए, और वही पता जिसकी आप उम्मीद करते हैं। यह दिखाता है कि आपके कंप्यूटर को क्या मिलता है। Google को क्या मिलता है, यह URL Inspection टूल का लाइव टेस्ट दिखाता है।

SEOgrinder में: “Google पर पेज” टैब का “इंडेक्सिंग” कार्ड HTTP स्टेटस दिखाता है। ख़राब स्टेटस कार्य भी बन जाता है, जैसे “सर्वर ने स्थिति 503 लौटाई”।

जाँच 2: क्या पेज noindex पर सेट है?

noindex नियम Google से कहता है कि पेज को बाहर रखे। यह पेज के हेड में robots मेटा टैग में, या X-Robots-Tag HTTP हेडर में होता है। जब Googlebot पेज क्रॉल करके नियम पढ़ लेता है, तो noindex के दस्तावेज़ के शब्दों में “Google will drop that page entirely from Google Search results”, यानी Google उस पेज को खोज के नतीजों से पूरी तरह हटा देता है। यह नियम अनजाने में पेज पर पहुँच सकता है:

• CMS की सेटिंग। WordPress की Reading सेटिंग्स में एक बॉक्स है, जिसका अंग्रेज़ी नाम “Discourage search engines from indexing this site” है। WordPress के दस्तावेज़ के मुताबिक़ संस्करण 5.3 से यह बॉक्स चुनने पर WordPress पेज के हेड में noindex,nofollow वाला robots मेटा टैग लिख देता है।
• हेडर। कोई सर्वर या CDN X-Robots-Tag: noindex भेज सकता है। यह कभी पेज के स्रोत में नहीं दिखता, इसलिए आसानी से छूट जाता है।
• हटाने का अनुरोध। अगर किसी ने इस पते के लिए Removals टूल इस्तेमाल किया था, तो अनुरोध सिर्फ़ लगभग छह महीने चलता है, और “Temporary Removals” टैब में वह सूचीबद्ध दिखता है (Search Console सहायता)।

curl -s -D - -o /dev/null https://your-site.example/your-page | grep -i x-robots-tag
curl -s https://your-site.example/your-page | grep -i -E 'name="(robots|googlebot)"'

कोई आउटपुट न आए, तो ऐसा कोई हेडर या टैग नहीं मिला। अगर कोई पंक्ति दिखे, तो noindex (या none) पेज को बाहर रखता है। अगर robots.txt भी पेज को रोकती है (जाँच 3), तो “the crawler will never see the noindex rule”, यानी क्रॉलर नियम को कभी देखेगा ही नहीं, इसलिए पहले रोक हटानी होगी। जो टैग JavaScript बाद में जोड़ता है, वह curl में नहीं दिखता; Google को क्या मिला, यह लाइव टेस्ट दिखाता है।

SEOgrinder में: जब robots मेटा टैग noindex कहता है, “इंडेक्सिंग” कार्ड की पहली पंक्ति “पेज इंडेक्सिंग से बाहर है” में बदल जाती है, और कार्य-सूची में “पेज Google से बाहर रखा गया है” दिखता है। HTTP हेडर में noindex हो, तो कार्य “एक HTTP हेडर पेज को Google से बाहर रखता है” के रूप में आता है।

जाँच 3: क्या robots.txt पेज को रोकती है?

फ़ाइल https://your-site.example/robots.txt क्रॉलरों को बताती है कि कौन-से पाथ छोड़ देने हैं। Google की robots.txt का परिचय वाली सहायता इसे मुख्य रूप से क्रॉलर ट्रैफ़िक सँभालने का साधन बताती है। जो नियम आपके पेज से मेल खाता है, वह Googlebot को उसे लाने से रोक देता है: रोका गया URL बिना कोई अनुरोध किए छोड़ दिया जाता है (JavaScript SEO के बुनियादी दस्तावेज़)। दूसरे पेज उससे लिंक करें, तो वह पता नतीजों में फिर भी आ सकता है, पर बिना विवरण के, क्योंकि Google ने पेज पढ़ा नहीं है।

क्लासिक हादसा दो पंक्तियों का होता है:

User-agent: *
Disallow: /

ये दोनों पंक्तियाँ पूरी साइट को हर उस क्रॉलर के लिए रोक देती हैं जो फ़ाइल को मानता है। Disallow: /shop/ जैसा संकरा नियम उस फ़ोल्डर और उसके नीचे की हर चीज़ को रोकता है। हर Disallow पंक्ति की तुलना अपने पेज के पाथ से कीजिए।

SEOgrinder में: “इंडेक्सिंग” कार्ड कहता है “इस पते की क्रॉलिंग रोकी गई है” और वह नियम दिखाता है जो लागू हुआ। कार्य का नाम है “robots.txt इस पते को रोक रहा है”।

जाँच 4: क्या पेज soft 404 है?

Soft 404 वह पेज है जो “नहीं मिला” कहता है या लगभग कुछ नहीं दिखाता, फिर भी स्टेटस 200 लौटाता है। Google के स्टेटस कोड वाले पेज के मुताबिक़ जब 2xx जवाब में त्रुटि संदेश या ख़ाली पेज हो, तो Search Console soft 404 त्रुटि दिखाता है। जो पेज सचमुच मौजूद नहीं, उनके लिए Google असली 404 की सलाह देता है। जिस पेज को होना चाहिए, उसके लिए इलाज उल्टा है: उसे असली सामग्री दीजिए।

Page indexing रिपोर्ट में कारण “Soft 404” देखिए। किसी एक पते के लिए लाइव टेस्ट चलाइए और “View tested page” खोलिए, जो दिखाता है कि Google पेज को कैसे रेंडर करता है। फिर अपने सर्वर से ऐसा पता माँगिए जो हो ही नहीं सकता:

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/page-that-cannot-exist

आपको 404 चाहिए। अगर 200 मिले, तो सर्वर हर पते का जवाब सफलता से देता है, और soft 404 के पीछे यही पैटर्न होता है। nginx, Node और single-page app में इसे ठीक करने के तरीक़े हमारे soft 404 error वाले लेख में हैं।

SEOgrinder में: “इंडेक्सिंग” कार्ड में पंक्ति “अनजान पते सही ढंग से 404 लौटाते हैं” या “अनजान पते 404 की जगह 200 लौटाते हैं” दिखती है, और दूसरी हालत में एक कार्य भी बनता है। SEOgrinder एक पता गढ़कर आपके सर्वर से माँगता है, यानी वह जाँचता है कि आपका सर्वर उन पतों के साथ क्या करता है जो मौजूद नहीं हैं। Google ने आपके पेज को soft 404 के रूप में दर्ज किया है या नहीं, यह सिर्फ़ Search Console दिखाता है।

जाँच 5: क्या सामग्री सिर्फ़ ब्राउज़र में बनती है?

Google JavaScript चलाता है। उसके JavaScript SEO के बुनियादी दस्तावेज़ समझाते हैं कि स्टेटस 200 वाले पेज रेंडरिंग के लिए कतार में रुकते हैं, जिसमें “a few seconds, but it can take longer”, यानी कुछ सेकंड लग सकते हैं और कभी इससे ज़्यादा भी। इसलिए अकेला JavaScript पेज को Google से बाहर नहीं रखता। वह चार हालात में वजह बनता है, जिन्हें वही पेज बताता है:

• मूल HTML में noindex। noindex दिखने पर Google रेंडरिंग छोड़ सकता है, इसलिए जो JavaScript उस टैग को हटाता है, वह “may not work as expected”, यानी उम्मीद के मुताबिक़ काम नहीं भी कर सकता। अगर पेज इंडेक्स कराना है, तो noindex को मूल कोड में रखिए ही मत।
• रोकी गई स्क्रिप्ट। “Google Search won't render JavaScript from blocked files or on blocked pages.” यानी Google रोकी गई फ़ाइलों से या रोके गए पेजों पर JavaScript रेंडर नहीं करता।
• वे लिंक जो असल में लिंक नहीं हैं। Google सिर्फ़ वही लिंक खोज पाता है जो href एट्रिब्यूट वाले <a> एलिमेंट हों। जो पते सिर्फ़ # के बाद अलग होते हैं, वे भरोसेमंद नहीं हैं।
• Single-page app में त्रुटि पेज। जो ऐप हर पते का जवाब 200 से देता है, वह soft 404 बनाता है (जाँच 4)।

परखने के लिए “View page source” चुनिए (डेवलपर टूल का Elements पैनल नहीं) और अपना शीर्षक और मुख्य टेक्स्ट ढूँढिए। अगर वे नहीं मिलते, तो JavaScript उन्हें बनाता है। फिर लाइव टेस्ट और “View tested page” से देखिए कि Google ने पेज कैसा रेंडर किया। Google यह भी जोड़ता है कि सर्वर-साइड या प्री-रेंडरिंग अब भी बढ़िया विचार है, क्योंकि “not all bots can run JavaScript”। इन दूसरे बॉट की बात हमारे AI क्रॉलर और JavaScript वाले लेख में है।

SEOgrinder में: कार्य “पेज केवल ब्राउज़र में बनता है” तब आता है जब आपका सर्वर जो HTML भेजता है उसमें लगभग कोई टेक्स्ट, शीर्षक या आंतरिक लिंक नहीं होते। यह उन क्रॉलरों के जोखिम की ओर इशारा करता है जो JavaScript नहीं चलाते। Google आपका पेज सही रेंडर करता है या नहीं, यह लाइव टेस्ट दिखाता है।

जाँच 6: क्या Google पेज ढूँढ पाता है? साइटमैप और लिंक

Google सिर्फ़ वही इंडेक्स कर सकता है जो उसे मिले। Page indexing रिपोर्ट की सहायता के मुताबिक़ वह किसी पेज के बारे में साइटमैप, क्रॉल अनुरोध या कहीं से आए लिंक के ज़रिए जानता है। Googlebot उन URL को क्रॉल करता है जो उसे पहले क्रॉल किए पेजों पर मिले, इसलिए जिस पेज से कोई लिंक नहीं करता, वह अनजान रह सकता है, ख़ासकर नई साइट पर जिसे बाहर से कम लिंक मिले हैं (साइटमैप का परिचय)।

• अपना साइटमैप देखिए। https://your-site.example/sitemap.xml खोलिए, या robots.txt में दिया पता, और पेज को ढूँढिए। Google https:// समेत पूरे पते माँगता है, और सिर्फ़ वे जो आप खोज के नतीजों में चाहते हैं (साइटमैप बनाना)। जो पते 404 लौटाएँ, रीडायरेक्ट हों या noindex रखें, वे उसमें नहीं होने चाहिए।
• उसे जमा कीजिए। Search Console की Sitemaps रिपोर्ट दिखाती है कि Googlebot ने फ़ाइल कब पढ़ी और कोई त्रुटि थी या नहीं। robots.txt फ़ाइल को रोकती न हो।
• पेज को लिंक कीजिए कम से कम एक ऐसे पेज से जो पहले से इंडेक्स है, जैसे होम पेज या कोई संबंधित लेख।
• इंडेक्सिंग का अनुरोध कीजिए, पर कम। नई वेबसाइट के लिए Google होम पेज की इंडेक्सिंग माँगना सबसे अच्छा पहला क़दम बताता है। URL Inspection टूल “just a few URLs”, यानी गिने-चुने URL के लिए है, उसमें कोटा है, और एक ही URL के लिए बार-बार माँगने से वह “won't get it crawled any faster”, यानी और जल्दी क्रॉल नहीं होता (दोबारा क्रॉल कराने की सहायता)।

साइटमैप Google को पते खोजने में मदद करता है, पर वह “doesn't guarantee”, यानी इसकी गारंटी नहीं देता कि उसमें दी हर चीज़ क्रॉल और इंडेक्स होगी। Google यह भी जोड़ता है कि लगभग 500 या उससे कम पेजों की साइट, जिसके पेज आपस में अच्छी तरह जुड़े हों, को साइटमैप की ज़रूरत शायद न पड़े।

SEOgrinder में: “इंडेक्सिंग” कार्ड कहता है “यह पता साइटमैप में है” या “यह पता साइटमैप में नहीं है”। कार्य-सूची में “कोई साइटमैप नहीं मिला”, “साइटमैप में noindex वाला एक पेज है” और ऐसा कार्य दिख सकता है जो गिनता है कि साइटमैप के कितने पते 200 नहीं लौटाते। वेबसाइट क्रॉल के साथ “एक पेज पर कोई आंतरिक लिंक नहीं है” जैसा कार्य उन पेजों को दिखाता है जिनसे कोई लिंक नहीं करता।

जाँच 7: क्या Google को काफ़ी समय मिला?

Google कोई तारीख़ नहीं देता। उसकी दोबारा क्रॉल कराने की सहायता कहती है: “Crawling can take anywhere from a few days to a few weeks.” Page indexing रिपोर्ट की सहायता जोड़ती है कि नए पेज या साइट को Google के क्रॉल और इंडेक्स करने में “it can take a week or so”, यानी लगभग एक हफ़्ता लग सकता है, कि इंडेक्सिंग “is never instant, even when you submit a crawl request directly”, और कि Google यह गारंटी नहीं देता कि सारे पेज उसके इंडेक्स में पहुँचेंगे।

Search Console में इंतज़ार की दो स्थितियाँ हैं। “Discovered – currently not indexed” का मतलब है कि Google को पेज मिल गया है पर उसने अभी क्रॉल नहीं किया, आम तौर पर इसलिए कि उसे अंदेशा था कि क्रॉल से साइट पर बोझ पड़ेगा। “Crawled – currently not indexed” का मतलब है कि Google ने पेज लाया और इंडेक्स में नहीं जोड़ा। Google इसे “a common message for many sites” कहता है, जो “doesn't necessarily indicate an issue that needs attention”, यानी ज़रूरी नहीं कि किसी ऐसी समस्या का संकेत हो जिस पर ध्यान चाहिए, और कहता है कि साइट के हर URL के इंडेक्स होने की उम्मीद न रखें।

अगर जाँच 1 से 6 साफ़ हैं और पेज कुछ हफ़्तों से पुराना है, तो “Crawled – currently not indexed” के लिए Google कोई और वजह नहीं बताता। हमारी राय है, Google की नहीं: देखिए कि पेज ऐसा कुछ कहता है या नहीं जो आपके बाक़ी पेज नहीं कहते, और कि महत्वपूर्ण पेज उससे लिंक करते हैं या नहीं।

SEOgrinder में: वह Google की घड़ी नहीं पढ़ सकता। Search Console से जुड़ी लोकल इंस्टॉलेशन जाँचे गए पेज के बारे में URL Inspection से पूछ सकती है और Google का सहेजा जवाब रिपोर्ट में दिखा सकती है, जैसे “Google अभी यह पता नहीं जानता”। seogrinder.com वाला संस्करण आपके Search Console खाते से नहीं जुड़ता।

स्कैन क्या बता सकता है और क्या नहीं

SEOgrinder हमारा टूल है, और उसे हम ही बनाते हैं। बाहर से किया गया स्कैन वह पढ़ता है जो आपका पेज कहता है और आपका सर्वर कैसे जवाब देता है: स्टेटस, noindex, robots.txt, सर्वर का soft 404 वाला बर्ताव, भेजा गया HTML और साइटमैप। वह Google का इंडेक्स नहीं देख सकता, और यह भी नहीं बता सकता कि Google ने क्रॉल किया हुआ पेज क्यों छोड़ दिया। इंडेक्स का सवाल Search Console और सटीक पते की खोज सुलझाती हैं। हरी रिपोर्ट यह वादा नहीं करती कि पेज दिखेगा, या किस जगह रैंक करेगा। यह वादा कोई नहीं कर सकता।

आम ग़लतियाँ

• एक ही खोज से फ़ैसला करना। नतीजे इंसान और जगह के हिसाब से बदलते हैं। सटीक पते की खोज कीजिए, या URL Inspection इस्तेमाल कीजिए।
• robots.txt में रोकना और साथ में noindex भी लगाना। तब Google noindex नियम को कभी देखता ही नहीं। हर मक़सद के लिए एक ही साधन लीजिए।
• noindex सिर्फ़ एक जगह से हटाना। वह एक साथ प्लगइन की सेटिंग, मेटा टैग और HTTP हेडर, तीनों में हो सकता है।
• इंडेक्सिंग का अनुरोध बार-बार करना। इससे कुछ तेज़ नहीं होता।
• पहली वजह मिलते ही रुक जाना। एक पेज पर कई वजहें एक साथ लागू हो सकती हैं, इसलिए सातों जाँचें कीजिए।

अक्सर पूछे जाने वाले सवाल

मेरी नई वेबसाइट Google पर क्यों नहीं दिख रही?

एक संभावित वजह यह है कि Google ने उसे अभी क्रॉल नहीं किया, जिसमें लगभग एक हफ़्ता लग सकता है। साइटमैप जमा कीजिए, होम पेज की इंडेक्सिंग का अनुरोध कीजिए और सातों जाँचें कीजिए।

Search Console “URL is on Google” कहता है, फिर भी मुझे पेज नहीं मिल रहा। क्यों?

“URL is on Google” का मतलब है कि पेज दिख सकता है, यह नहीं कि वह हर खोज में दिखता है। सटीक पते की खोज कीजिए। अगर वह आ जाए, तो इंडेक्सिंग ठीक है और सवाल रैंकिंग का है।

मेरा पेज Google पर था और ग़ायब हो गया। कौन-सी जाँच लागू होती है?

जाँच 1 से 3 से शुरू कीजिए। Google 4xx स्टेटस लौटाने वाले इंडेक्स किए URL को हटा देता है। साथ ही Google के मुताबिक़ अगर इंडेक्स किए पेजों की संख्या घटे और त्रुटियाँ उसी अनुपात में न बढ़ें, तो हो सकता है कि आप मौजूदा पेजों को robots.txt, noindex या लॉगिन से रोक रहे हों। हटाने के अनुरोध की भी जाँच कीजिए।

आपका अगला कदम

ग़ायब पेज का पता SEOgrinder के मुफ़्त स्कैन में डालिए। “Google पर पेज” टैब में “इंडेक्सिंग” कार्ड पढ़िए और हर लाल पंक्ति ठीक कीजिए; कार्य-सूची बताती है कि पहले क्या करना है। बदलाव के बाद “दोबारा जाँचें” दबाइए (रिपोर्ट 24 घंटे तक कैश में रह सकती हैं), फिर साइटमैप जमा कीजिए और Google को समय दीजिए। इंडेक्सिंग से आगे की हर चीज़ के लिए हमारी SEO audit checklist देखिए।

यह भी पढ़ें

• Google में पेज इंडेक्स कैसे करें: 5 चरण, जिनका टेस्ट हमने किया