Crawled – currently not indexed: इसका मतलब और 5 जाँचें

संक्षिप्त उत्तर: “Crawled – currently not indexed” का मतलब है कि Google ने पेज लाकर देखा पर उसे अपने इंडेक्स में नहीं जोड़ा। Google इसे “a common message for many sites” कहता है, जो “doesn't necessarily indicate an issue that needs attention”, यानी ज़रूरी नहीं कि किसी ऐसी समस्या का संकेत हो जिस पर ध्यान देना पड़े, इसलिए पहला सवाल यह है कि पेज अहम है या नहीं। अगर है, तो रुकावटें हटाइए, पेज की तुलना अपने इंडेक्स हुए पेजों से कीजिए, इंतज़ार कीजिए और फिर देखिए। इंडेक्सिंग ज़बरदस्ती कराने वाला कोई बटन नहीं है, और इस स्थिति के लिए Google कोई वजह नहीं बताता।

“Crawled – currently not indexed” का मतलब क्या है?

Search Console की Page indexing रिपोर्ट उन सभी पतों को, जिन्हें Google जानता है, “Indexed” और “Not indexed” में बाँटती है। “Why pages aren’t indexed” तालिका में इस स्थिति के साथ Google का अपना वर्णन है: “The page was crawled by Google but not indexed.” पूरा पाठ Google की Page indexing रिपोर्ट की सहायता में है। इसके दो हिस्से हैं:

• Crawled: Google ने पेज माँगा और पा लिया।
• Not indexed: Google ने उसे अपने इंडेक्स में नहीं रखा, इसलिए वह खोज के नतीजों में नहीं आ सकता।

हिंदी इंटरफ़ेस और Google की हिंदी सहायता में यही स्थिति “क्रॉल किया गया - फ़िलहाल इंडेक्स नहीं किया गया है” नाम से मिलती है। इस लेख में Search Console के नाम अंग्रेज़ी वाले रूप में हैं।

किसी एक पते के लिए URL Inspection टूल “URL is not on Google” कहता है और अपने Page indexing हिस्से में कारण का नाम बताता है।

Google का वर्णन छोटा है। वह कहता है कि संदेश आम है, किसी पेनल्टी का ज़िक्र नहीं करता और कोई वजह नहीं देता। क्रॉल बजट पर Google का गाइड सामान्य नियम बताता है: “not every page that is crawled will necessarily be indexed”। क्रॉल के बाद हर पेज को “must be evaluated, consolidated, and assessed to determine its suitability for the index”, यानी इंडेक्स के लिए उसकी उपयुक्तता तय करने हेतु आँका, समेकित और परखा जाना होता है। आपका पेज इनमें से किस चरण पर अटका, यह Google नहीं बताता।

पेज अहम है? कुछ भी ठीक करने से पहले तय कीजिए

Page indexing रिपोर्ट की सहायता कवरेज के बारे में सीधी है: “Don't expect every URL on your site to be indexed. Some URLs might be duplicates or might not contain meaningful information.” यानी हर पता इंडेक्स में होना ज़रूरी नहीं; गिनती अहम पेजों की है। इसलिए पहले अपने पतों को छाँट लीजिए:

Google जोड़ता है कि अगर आपकी साइट पर 500 से कम पेज हैं, तो आपको शायद यह रिपोर्ट चाहिए ही नहीं। site: के बाद सटीक पता खोजने से, जैसे site:https://your-site.example/your-page, पता चल जाता है कि कोई अहम पेज इंडेक्स है या नहीं।

Crawled – currently not indexed: अहम पेज के लिए पाँच जाँचें

इस स्थिति की कोई वजह Google नहीं बताता, इसलिए ये जाँचें उस पर टिकी हैं जो Google दर्ज करता है और हमारी अपनी समझ पर। दूसरी तरह की बातों पर हम निशान लगाते हैं।

1. सहेजा हुआ नतीजा पढ़िए, फिर लाइव टेस्ट चलाइए। URL Inspection में Page indexing हिस्सा पढ़िए। यह एक झलक है: Google की URL Inspection सहायता कहती है “This is not a live test” और कि पेज “may have changed or become unavailable since Google last saw it”, यानी Google के आख़िरी बार देखने के बाद हो सकता है वह बदल गया हो या उपलब्ध न रहा हो। फिर “Test live URL” चुनिए और “View tested page” खोलिए, यह देखने के लिए कि Google पेज को कैसे रेंडर करता है। अगर लाइव टेस्ट में त्रुटि या ख़ाली पेज दिखे, तो पहले उसे ठीक कीजिए। पर साफ़ लाइव टेस्ट कोई फ़ैसला नहीं है: Google कहता है कि वह “does not test for all possible indexing issues, including whether this is a duplicate or alternate page”।
2. रुकावटें फिर भी हटाइए। Google की तकनीकी ज़रूरतें तीन गिनाती हैं: Googlebot रोका हुआ नहीं है, पेज HTTP 200 से जवाब देता है, और उसमें इंडेक्स होने लायक़ सामग्री है। इन्हें पूरा करने का मतलब यह नहीं कि पेज इंडेक्स होगा: “indexing isn't guaranteed”। Search Console noindex टैग, robots.txt की रोक, soft 404 और रीडायरेक्ट को अपनी अलग स्थितियों में दर्ज करता है, और हमारी समझ है कि इस स्थिति के पीछे वे आम तौर पर नहीं होते। फिर भी जाँच कर लीजिए, क्योंकि सहेजी हुई स्थिति आपके आख़िरी बदलाव से पुरानी हो सकती है। जल्दी देखने के लिए दो कमांड सूची के नीचे हैं: वे स्टेटस और noindex हेडर दिखाती हैं।
3. पेज की तुलना अपने इंडेक्स हुए पेजों से कीजिए। Google के मुताबिक़ वह किसी पेज की डुप्लीकेट प्रतियाँ इंडेक्स नहीं करता, और कुछ URL “might not contain meaningful information”, यानी हो सकता है उनमें कोई सार्थक जानकारी न हो। हमारी समझ, Google की नहीं: पेज को उसी विषय के इंडेक्स हुए पेज के बग़ल में रखिए और पूछिए कि वह क्या जोड़ता है। अगर दो पेज एक ही सवाल का जवाब देते हैं, तो उन्हें मिला दीजिए और कमज़ोर पते को 301 रीडायरेक्ट से मज़बूत पते पर भेज दीजिए। अगर कोई पेज एक शीर्षक और एक टेम्पलेट से ज़्यादा कुछ नहीं, तो उसे असली सामग्री दीजिए या मान लीजिए कि वह बाहर ही रहेगा।
4. संबंधित, इंडेक्स हुए पेजों से उसे लिंक कीजिए। हमारी समझ: जो पेज सिर्फ़ साइटमैप के सहारे है, या कई क्लिक गहरा है, वह बहुत कम दिखाता है कि आप उसे अहम मानते हैं। उसे पड़ोसी विषयों के इंडेक्स हुए पेजों से ऐसे लिंक कीजिए कि वह टेक्स्ट में सहज बैठे।
5. इंतज़ार कीजिए, फिर उसी पते को दोबारा देखिए। इस स्थिति के लिए Google कोई समय नहीं देता। उसके सामान्य बयान क्रॉलिंग के बारे में हैं: नए पेज या साइट के लिए “It can take a week or so”, और इंडेक्सिंग “is never instant”। हमारी समझ: कुछ दिन बाद दोबारा देखिए, हर घंटे नहीं। Google की सहायता कहती है कि दोबारा क्रॉल का अनुरोध तभी कीजिए जब कोई अहम बदलाव किया हो जिसे Google ने एक हफ़्ते या उससे ज़्यादा समय (“a week or more”) से नहीं देखा हो। इसके लिए आपको प्रॉपर्टी का मालिक या पूर्ण उपयोगकर्ता (full user) होना होगा, और कोटा है।

जाँच 2 के लिए, यह कमांड रीडायरेक्ट के बाद का स्टेटस कोड और अंतिम पता छापती है, और दूसरी कमांड कोई X-Robots-Tag हेडर। 200 और हेडर की कोई पंक्ति नहीं, यही आप चाहते हैं:

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/your-page
curl -s -D - -o /dev/null https://your-site.example/your-page | grep -i x-robots-tag

Discovered – currently not indexed: पड़ोसी स्थिति

रिपोर्ट में ये दोनों स्थितियाँ साथ-साथ रहती हैं:

“Discovered” के लिए Google एक आम वजह बताता है: उसने URL क्रॉल करना चाहा था, पर अंदेशा था कि इससे साइट पर बोझ पड़ेगा (“wanted to crawl the URL but this was expected to overload the site”), इसलिए क्रॉल आगे खिसका दिया। क्रॉल बजट गाइड उन साइटों को, जिनके URL का “a large portion” इसी स्थिति में है, उन साइटों में गिनता है जिनके लिए वह लिखा गया है। ये बड़ी साइटें हैं: 1 million (10 लाख) या उससे ज़्यादा अनोखे पेज, जिनमें बदलाव मध्यम रफ़्तार से (लगभग साप्ताहिक) होते हैं, या 10,000 या उससे ज़्यादा पेज, जिनकी सामग्री बहुत तेज़ी से बदलती है और रोज़ अपडेट होती है। Google इन संख्याओं को “a rough estimate” यानी मोटा अंदाज़ा कहता है, सटीक सीमाएँ नहीं। जिस साइट पर तेज़ी से बदलने वाले बहुत सारे पेज नहीं हैं, उसके लिए गाइड कहता है कि साइटमैप को अद्यतन रखना और Page indexing रिपोर्ट को नियमित देखना “is adequate”, यानी काफ़ी है।

ऐसी साइट पर आप जो कर सकते हैं, वह सीमित है। सर्वर तेज़ और स्थिर रखिए: जब साइट धीमी हो जाती है या सर्वर त्रुटियों (5xx) या रेट लिमिटिंग (429) से जवाब देती है, तो Google अपनी क्रॉल सीमा घटा देता है। साइटमैप अद्यतन रखिए, फिर इंतज़ार कीजिए। Google ने ये पेज अभी लाए ही नहीं, इसलिए यह स्थिति उनकी सामग्री के बारे में कुछ नहीं कहती।

SEOgrinder क्या दिखाता है, और क्या नहीं

SEOgrinder हमारा टूल है, और उसे हम बनाते हैं। इस स्थिति के लिए:

• seogrinder.com का मुफ़्त स्कैन आपकी Page indexing रिपोर्ट नहीं पढ़ सकता। वह आपके Search Console खाते से नहीं जुड़ता। “Google खोज” टैब Performance रिपोर्ट का एक्सपोर्ट अपलोड करने देता है (खोजें, पेज, क्लिक, इम्प्रेशन)। इंडेक्स की स्थितियाँ उस डेटा में नहीं होतीं।
• Search Console से जुड़ी लोकल इंस्टॉलेशन जाँचे गए पेज के बारे में URL Inspection से पूछ सकती है और Google का जवाब उसके अपने शब्दों में दिखा सकती है, “Google इस पेज को इंडेक्स में नहीं रखता” नाम के निष्कर्ष के रूप में। अगर पेज को ढूँढा जाना है (वह आपके साइटमैप में है, होम पेज है, या Search Console ने उसके लिए इम्प्रेशन दिखाए), तो यह एक कार्य है। वरना यह “जानकारी के लिए” के तहत आता है।
• उन वजहों के पास की जाँचें जिनकी ओर Google इशारा करता है। “Google पर पेज” टैब का “इंडेक्सिंग” कार्ड दिखाता है कि पेज इंडेक्स हो सकता है या नहीं और URL क्रॉल किया जा सकता है या नहीं। वेबसाइट क्रॉल लगभग एक जैसे पेज-युग्मों, कम टेक्स्ट वाले पेजों और उन पेजों की सूची देता है जिनकी ओर कोई आंतरिक लिंक नहीं जाता। ये आपके पेजों के गुण हैं। इनमें से किसी की वजह से Google ने पेज छोड़ा या नहीं, यह SEOgrinder नहीं बता सकता, और Google भी नहीं बताता।

आम ग़लतियाँ

• रिपोर्ट को शून्य तक पहुँचाने के पीछे पड़ना। Google लिखता है कि “non-indexed URLs can be fine”, यानी इंडेक्स न हुए URL ठीक हो सकते हैं। सिर्फ़ अहम पेजों का इंडेक्स में होना ज़रूरी है।
• इंडेक्सिंग का अनुरोध बार-बार करना। Google का क्रॉल अनुरोधों वाला पेज कहता है कि एक ही URL के लिए बार-बार माँगने से वह “won't get it crawled any faster”, और कि अनुरोध “does not guarantee that inclusion in search results will happen instantly or even at all”। पेज क्रॉल हो चुका है; उसे अलग तरह से आँके जाने की वजह चाहिए, अनुरोध की पुनरावृत्ति नहीं।
• जिस स्थिति में ठीक करने को कुछ नहीं, उसके लिए “Validate fix” चलाना। (हिंदी इंटरफ़ेस में “समस्या ठीक होने की पुष्टि करें”।) Google की सहायता कहती है कि जाँच तब “Failed” पर ख़त्म होती है जब Google को समस्या का एक भी बचा हुआ मामला मिले, और कि “it might not always make sense to fix and validate a specific issue”। हमारी समझ: इस स्थिति के लिए Google कुछ ठीक करने को नहीं बताता, इसलिए जिन URL पर यह अब भी है, वे असफल जाँच को अपेक्षित नतीजा बना देते हैं।
• ताज़ा दिखाने के लिए तारीख़ बदलना। Google का उपयोगी सामग्री वाला पेज पेजों की तारीख़ बदलना, ताकि वे ताज़ा लगें जबकि सामग्री में बड़ा बदलाव नहीं हुआ, चेतावनी के संकेतों में गिनाता है।
• एक अकेले पेज को इंडेक्सिंग-समस्या फ़ॉर्म पर भेजना। Google फ़ॉर्म की ओर तभी इशारा करता है जब इंडेक्सिंग की समस्या पूरी, साइट-व्यापी हो, और आप संभावित समस्याओं का पूरा निदान कर चुके हों।
• साइटमैप दोबारा जमा करके बदलाव की उम्मीद करना। साइटमैप Google को पते खोजने में मदद करता है, पर यह पता खोजा और क्रॉल किया जा चुका है।

अक्सर पूछे जाने वाले सवाल

क्या “Crawled – currently not indexed” पेनल्टी है?

Google का वर्णन किसी पेनल्टी या मैनुअल कार्रवाई का ज़िक्र नहीं करता। वह संदेश को आम कहता है और बताता है कि यह ज़रूरी नहीं कि किसी समस्या की ओर इशारा करे।

पेज हफ़्तों तक इसी स्थिति में क्यों रहता है?

इस स्थिति के लिए Google न कोई वजह देता है, न कोई समय-सारणी। वह कहता है कि इंडेक्सिंग “is never instant”, और कि वह गारंटी नहीं देता कि हर जगह के सारे पेज उसके इंडेक्स में पहुँचें। हमारी समझ, Google का बयान नहीं: जो पेज उसमें कुछ ऐसा नहीं जोड़ता जो Google के पास पहले से है, वह बाहर रह सकता है।

क्या मैं Google को पेज इंडेक्स करने पर मजबूर कर सकता हूँ?

नहीं। “Request indexing” Google से किसी पते को क्रॉल करने को कहता है। यह उसे जोड़ने का आदेश नहीं है।

इस स्थिति की पुष्टि जाँच असफल क्यों हुई?

क्योंकि जाँच “Failed” पर ख़त्म होती है जैसे ही Google को एक भी ऐसा URL मिलता है जिस पर समस्या अब भी है, और इस स्थिति के लिए Google कोई सुधार नहीं बताता। इसके बजाय हर अहम पेज को ऊपर की पाँच जाँचों से परखिए।

आपका अगला कदम

Page indexing रिपोर्ट खोलिए, स्थिति पर क्लिक कीजिए और वे दो-तीन पते चुनिए जो आपके लिए अहम हैं। उन पर SEOgrinder का मुफ़्त स्कैन चलाइए और “Google पर पेज” टैब का “इंडेक्सिंग” कार्ड पढ़िए। जो लाल है उसे ठीक कीजिए, “दोबारा जाँचें” दबाइए, फिर पेज जो कहता है उसे उसके इंडेक्स हुए पड़ोसियों के मुक़ाबले बेहतर कीजिए और संबंधित पेजों से उसे लिंक कीजिए। कुछ दिन बाद वही पते फिर देखिए। अगर पेज बिल्कुल नया है, तो पहले कुछ दिन रुकिए: जाँच 5 वही बताती है।

यह भी पढ़ें

• वेबसाइट Google पर नहीं दिख रही? 7 जाँचें जो वजह पकड़ती हैं
• Google में पेज इंडेक्स कैसे करें: 5 चरण, जिनका टेस्ट हमने किया