Google AI Overviews और AI Mode: Google असल में आपसे क्या चाहता है

संक्षिप्त उत्तर: Google कहता है कि AI Overviews या AI Mode में दिखने के लिए कोई अतिरिक्त शर्त नहीं है, और सामान्य SEO से आगे कोई ख़ास optimization भी ज़रूरी नहीं। पेज इंडेक्स होना चाहिए और Google Search में snippet के साथ दिखाए जाने के योग्य होना चाहिए; इसके अलावा कोई तकनीकी शर्त नहीं है। आपको न कोई नया फ़ाइल फ़ॉर्मैट चाहिए, न llms.txt, न कोई ख़ास markup। फिर भी कोई वादा नहीं कर सकता कि आपका पेज दिखाया जाएगा, क्योंकि Google के अनुसार इंडेक्सिंग और सर्विंग की कभी गारंटी नहीं होती। इसलिए बुनियाद पर समय लगाइए: क्रॉलिंग की इजाज़त दीजिए, पेजों को आंतरिक लिंकों से जोड़िए, और ज़रूरी सामग्री HTML में टेक्स्ट के रूप में रखिए।

AI Overviews और AI Mode क्या हैं?

दोनों Google Search के भीतर की AI सुविधाएँ हैं, और Google उन्हें एक ही पेज पर साथ बयान करता है: AI features and your website। उस पेज के अनुसार, AI Overviews किसी पेचीदा विषय का सार जल्दी समझने में लोगों की मदद करते हैं और आगे सीखने के लिए लिंक देते हैं। AI Mode उन सवालों के लिए है जिनमें ज़्यादा खोजबीन, तर्क या तुलना चाहिए, और वह सहायक वेबसाइटों के लिंक के साथ जवाब देता है।

Google के बयान की दो बातें साइट के मालिकों के लिए मायने रखती हैं:

• ये “query fan-out” इस्तेमाल कर सकते हैं। एक खोज की जगह सिस्टम उप-विषयों और अलग-अलग डेटा स्रोतों पर कई मिलती-जुलती खोजें चला सकता है, ताकि जवाब तैयार हो सके। यह हमारी अपनी पढ़त है, Google का बयान नहीं: जो पेज किसी साफ़ उप-सवाल का अच्छा जवाब देता है, उसके मिल जाने के रास्ते एक से ज़्यादा होते हैं।
• ये हमेशा नहीं दिखते। Google कहता है कि AI Overviews तभी दिखाए जाते हैं जब उसके सिस्टम मानते हैं कि वे पारंपरिक Search में कुछ जोड़ते हैं, और अक्सर वे सक्रिय ही नहीं होते। इसके अलावा AI Overviews और AI Mode अलग-अलग मॉडल और तकनीकें इस्तेमाल कर सकते हैं, इसलिए जवाब और दिखाए गए लिंक अलग-अलग हो सकते हैं।

पेज वहाँ सहायक लिंक के रूप में दिखते हैं। गिनती बाक़ी Search की तरह ही होती है: Google इन सुविधाओं में दिखने वाली साइटों को Search Console में कुल सर्च ट्रैफ़िक के भीतर गिनता है, Performance रिपोर्ट में “Web” सर्च टाइप के तहत।

क्या AI Overviews में दिखने के लिए कुछ ख़ास चाहिए?

नहीं। Google के शब्द साफ़ हैं: AI Overviews या AI Mode में दिखने के लिए कोई अतिरिक्त शर्त नहीं है, और कोई दूसरी ख़ास optimization भी ज़रूरी नहीं। SEO की सर्वोत्तम पद्धतियाँ अब भी प्रासंगिक हैं।

तकनीकी शर्त वही है जो पूरी Search पर लागू होती है। सहायक लिंक के रूप में योग्य होने के लिए पेज को ये होना चाहिए:

1. इंडेक्स। Google ने उसे क्रॉल करके अपने इंडेक्स में रख लिया हो।
2. Google Search में snippet के साथ दिखाए जाने के योग्य। जो पेज snippet से बाहर निकल जाता है, वह यह योग्यता छोड़ देता है: Google के robots meta tag के दस्तावेज़ के अनुसार nosnippet यह भी रोकता है कि सामग्री AI Overviews और AI Mode के सीधे इनपुट के रूप में इस्तेमाल हो।

बस इतनी ही सूची है। Google एक चेतावनी भी जोड़ता है जिसे आसानी से छोड़ दिया जाता है: जो पेज सारी शर्तें पूरी करता हो और सारी नीतियों का पालन करता हो, उसके भी क्रॉल, इंडेक्स या सर्व होने की गारंटी नहीं है।

बुनियादी बातें व्यवहार में कैसी दिखती हैं

Google ऐसी SEO बुनियादी बातों के उदाहरण गिनाता है जो आगे भी काम की हैं। यहाँ उनमें से पाँच हैं, हर एक को जाँचने के एक तरीक़े के साथ:

इस तालिका में कुछ भी नया नहीं है। Google के बयान की बात ही यही है: AI सुविधाओं के लिए जो काम चाहिए, वह वही है जो आप Search के लिए वैसे भी करते।

जो आपको नहीं चाहिए

Google कहता है कि इन सुविधाओं में दिखने के लिए आपको नई मशीन-पठनीय फ़ाइलें, AI टेक्स्ट फ़ाइलें या markup बनाने की ज़रूरत नहीं। वह यह भी कहता है कि schema.org का कोई ख़ास structured data नहीं है जिसे जोड़ना ही पड़े।

इससे उस सवाल का जवाब मिलता है जो कई साइट मालिक पूछते हैं: क्या AI Overviews के लिए llms.txt चाहिए? Google के मार्गदर्शन के अनुसार नई AI टेक्स्ट फ़ाइलों की ज़रूरत नहीं। इसके अलावा, Google के आयोजनों की ख़बरों में कहा गया है कि Google llms.txt को सपोर्ट नहीं करता और ऐसी योजना भी नहीं है (ये दूसरे हाथ की ख़बरें हैं)। दूसरे असिस्टेंट के लिए यह फ़ाइल एक बेनुक़सान अतिरिक्त चीज़ हो सकती है, पर फ़ायदा प्रमाणित नहीं है।

दायरे के बारे में एक सावधानी: ये बातें Google Search के बारे में हैं। दूसरे असिस्टेंट के अपने क्रॉलर और अपने नियम हैं। मिसाल के लिए, OpenAI ट्रेनिंग, ChatGPT की सर्च और उपयोगकर्ता के कहने पर पेज लाने के लिए अलग-अलग बॉट बताती है, और कहती है कि जो पेज OAI-SearchBot को रोकता है वह ChatGPT के सर्च जवाबों में नहीं दिखता (देखिए OpenAI का दस्तावेज़)। Google के “कुछ ख़ास नहीं चाहिए” को हर असिस्टेंट के बारे में बयान मत समझिए।

आप क्या नियंत्रित कर सकते हैं

अगर आप सीमित करना चाहते हैं कि आपकी सामग्री कैसे दिखे, तो Google ये साधन बताता है:

Google लिखता है कि AI को Search में ही बुना गया है, इसीलिए Search के नियंत्रण ही इन सुविधाओं के भी नियंत्रण हैं। उस पेज पर वह ऐसा कोई स्विच नहीं बताता जो अकेले AI Overviews पर लागू हो।

पेज में पूर्वावलोकन के ये नियंत्रण ऐसे दिखते हैं:

<meta name="robots" content="nosnippet">
<meta name="robots" content="max-snippet:100">

<p>यह वाक्य snippet में आ सकता है।
<span data-nosnippet>यह हिस्सा snippet से बाहर रहता है।</span></p>

दोनों meta पंक्तियों में से एक लीजिए, दोनों नहीं: वे विकल्प हैं। पूर्वावलोकन का कोई नियंत्रण बदलने के बाद समय दीजिए। Google कहता है कि दोबारा क्रॉल होने में कुछ दिन से लेकर कई महीने तक लग सकते हैं, इस पर टिका है कि उसके सिस्टम कितनी बार तय करते हैं कि किसी पेज को ताज़ा करना है।

Google-Extended स्विच नहीं है

robots.txt का Google-Extended टोकन अक्सर AI Overviews का नियंत्रण समझ लिया जाता है। वह नहीं है। Google उसे एक अलग प्रोडक्ट टोकन बताता है, जो तय करता है कि Google की क्रॉल की हुई सामग्री भविष्य के Gemini मॉडलों की ट्रेनिंग में, और Gemini Apps व Vertex AI की grounding में इस्तेमाल हो सकती है या नहीं। वह Google Search में शामिल होने पर असर नहीं डालता और रैंकिंग सिग्नल भी नहीं है। देखिए Google की आम क्रॉलरों की सूची।

Googlebot को क्या दिखता है, यह कैसे जाँचें

जो दिखता नहीं, उसे सुधारा नहीं जा सकता। तीन जाँचों में बस कुछ मिनट लगते हैं:

1. Search Console में URL Inspection टूल खोलिए। Google इसे इसलिए सुझाता है कि क्रॉल करते समय Googlebot को जो HTML मिला, वह दिखे। देखिए कि उसमें title, मुख्य टेक्स्ट और आपके पूर्वावलोकन-नियंत्रण मौजूद हैं।
2. अपनी robots.txt को वैसे पढ़िए जैसे Google पढ़ता है। जो नियम सबसे विशिष्ट रूप से मेल खाता है वही लागू होता है, और Googlebot के लिए लिखा गया समूह सभी बॉट वाले समूह को जोड़ता नहीं, बदल देता है। इसलिए अगर आप Googlebot के लिए समूह बनाएँ, तो उसमें हर वह नियम दोहराइए जो आपको चाहिए। नियम RFC 9309 में तय हैं।
3. भेजे गए HTML की तुलना उससे कीजिए जो आगंतुक देखते हैं। Google JavaScript को आज के Chromium से चलाता है, पर पेज क्रॉल के बाद एक कतार में रेंडर होते हैं, जिसमें सेकंड या उससे ज़्यादा लग सकते हैं। Google ख़ुद कहता है कि server-side या pre-rendering अब भी अच्छा विचार है, कुछ हद तक इसलिए कि सभी बॉट JavaScript नहीं चला सकते। देखिए Google के JavaScript के बुनियादी दस्तावेज़।

इन जाँचों में SEOgrinder कैसे मदद करता है

SEOgrinder एक मुफ़्त स्कैनर है: आप किसी सार्वजनिक वेबसाइट का पता डालते हैं और बिना खाते के रिपोर्ट पाते हैं। रिपोर्ट के ये हिस्से इस विषय से जुड़ते हैं:

• Google पर पेज: title, meta description, canonical, robots निर्देश, शीर्षक और URL की गुणवत्ता। soft-404 की जाँच भी यहीं है, “इंडेक्सिंग” कार्ड में।
• तकनीक और सुरक्षा: robots.txt, साइटमैप, रीडायरेक्ट चेन, कम्प्रेशन और caching।
• जो पेज ब्राउज़र में बनते हैं: SEOgrinder उन्हें “पेज केवल ब्राउज़र में बनता है” के रूप में दर्ज करता है, इस सूचना के साथ कि कई AI क्रॉलर JavaScript नहीं चलाते और उन्हें लगभग ख़ाली पेज दिखता है।
• पूरी वेबसाइट: पेज के आंतरिक लिंक और छवियाँ जाँची जाती हैं, ताकि टूटे लक्ष्य, रीडायरेक्ट और न खुलने वाली छवियाँ मिलें। साइट का क्रॉल अनाथ पेज, क्लिक की गहराई, दोहराए गए title और पतले पेज दर्ज करता है।
• गति: Google PageSpeed Insights (लैब डेटा) और असली आगंतुकों (CrUX) से Core Web Vitals।

SEOgrinder यह नहीं मापता कि AI Overviews या कोई दूसरा असिस्टेंट आपके पेजों का सचमुच ज़िक्र करता है या नहीं। वह तकनीकी आधार जाँचता है: क्या पेजों तक पहुँचा और उन्हें पढ़ा जा सकता है? जो टूल ज़िक्र की निगरानी करते हैं, वे अलग काम करते हैं।

AI Overviews के बारे में मिथक

• “आपको llms.txt चाहिए।” Google का पेज कहता है कि नई AI टेक्स्ट फ़ाइलों की ज़रूरत नहीं। ऊपर देखिए।
• “आपको ख़ास schema.org markup चाहिए।” Google कहता है कि जोड़ने के लिए कोई ख़ास structured data नहीं है। जो structured data आप इस्तेमाल करें, वह दिखने वाले टेक्स्ट से मेल खाए।
• “बाहर रहने के लिए Google-Extended को रोक दीजिए।” यह AI Overviews को नियंत्रित नहीं करता और Search में शामिल होने पर असर नहीं डालता।
• “AI Overviews की अलग checklist है।” Google कहता है कि मौजूदा SEO बुनियाद आगे भी काम की है।
• “शर्तें पूरी कर दीं, तो मैं दिखूँगा।” Google कहता है कि इंडेक्सिंग और सर्विंग की गारंटी नहीं है, और AI Overviews अक्सर सक्रिय ही नहीं होते।

आम ग़लतियाँ

• AI Overviews को अलग विधा मान लेना, जबकि स्टेजिंग साइट से बचा रह गया noindex या robots.txt का Disallow पेजों को Search से बाहर रखे हुए है।
• CDN या होस्ट पर Googlebot को रोक देना, जबकि robots.txt ठीक दिखती है। Google इसका साफ़ ज़िक्र करता है।
• पूरी साइट पर nosnippet लगाना और फिर भी सहायक लिंक के रूप में दिखने की उम्मीद रखना। Google के अनुसार nosnippet सामग्री को AI Overviews और AI Mode के सीधे इनपुट के रूप में इस्तेमाल होने से भी रोकता है, और max-snippet सीमित करता है कि उसका कितना हिस्सा इस्तेमाल हो सकता है।
• robots.txt में Googlebot का ऐसा समूह जो आपके बाक़ी नियम निगल जाए। जिस बॉट का अपना समूह है, वह सभी बॉट वाले समूह को अनदेखा करता है।
• ऐसी सामग्री जो JavaScript चलने के बाद ही बनती है। Google उसे रेंडर कर सकता है, दूसरे क्रॉलर शायद न कर पाएँ।
• बदलाव के तुरंत बाद असर की उम्मीद। दोबारा क्रॉल में दिन से लेकर महीने तक लग सकते हैं।

अक्सर पूछे जाने वाले सवाल

AI Overviews में कैसे दिखें?

Search की तकनीकी शर्तें पूरी कीजिए, Google की नीतियों का पालन कीजिए और लोगों के लिए उपयोगी, भरोसेमंद सामग्री पर ध्यान दीजिए। कोई गारंटी नहीं है: Google कहता है कि इंडेक्सिंग और सर्विंग की कभी गारंटी नहीं होती, और AI Overviews हर खोज पर नहीं दिखते।

क्या AI Overviews के लिए llms.txt चाहिए?

Google कहता है कि आपको नई मशीन-पठनीय या AI टेक्स्ट फ़ाइलें बनाने की ज़रूरत नहीं। रैंकिंग या AI हवालों के लिए llms.txt का फ़ायदा प्रमाणित नहीं है।

क्या Google-Extended को रोकने से मेरी साइट AI Overviews से हट जाती है?

नहीं। Google-Extended AI Overviews का नियंत्रण नहीं है, और Google के अनुसार वह Google Search में शामिल होने पर असर नहीं डालता। ऊपर बताए साधन इस्तेमाल कीजिए।

क्या यही नियम ChatGPT या Perplexity पर भी लागू होते हैं?

ज़रूरी नहीं। हर प्रदाता अपने क्रॉलर ख़ुद बयान करता है। हर प्रदाता के नियम अलग से देखिए।

आपका अगला कदम

अपनी साइट पर SEOgrinder से मुफ़्त स्कैन चलाइए और सूची को ऊपर से निपटाइए: पहले इंडेक्सिंग और क्रॉलिंग, फिर आंतरिक लिंक, गति और भेजा गया HTML। इसके बाद अपने सबसे ज़रूरी पेज के लिए URL Inspection टूल खोलिए और पढ़िए कि Googlebot को क्या मिला। पूरी सूची के लिए SEO audit checklist भी काम आएगी। अगर ये बुनियादी बातें ठीक हैं, तो आपने वह कर दिया जो Google के अनुसार ज़रूरी है।