llms.txt क्या है? इसे कैसे बनाएँ और क्या यह सच में काम करती है

संक्षिप्त उत्तर: llms.txt क्या है? यह आपकी वेबसाइट के रूट में रखी जाने वाली सादी Markdown फ़ाइल है, जिसमें आपके सबसे अहम पेज एक-एक छोटे नोट के साथ गिनाए जाते हैं, ताकि भाषा मॉडल और AI एजेंट उन्हें जल्दी ढूँढ सकें। इसे बनाना सस्ता है, पर रैंकिंग या AI हवालों में इसका फ़ायदा साबित नहीं है: Google के दस्तावेज़ के अनुसार AI फ़ीचर में दिखने के लिए AI टेक्स्ट फ़ाइलों की ज़रूरत नहीं है, रिपोर्टों के अनुसार Google इस फ़ाइल को समर्थन नहीं देता, और Google के एक प्रतिनिधि ने कहा है कि उनकी जानकारी में कोई AI सिस्टम इसका उपयोग नहीं करता। इसे बुनियादी चीज़ों (robots.txt, sitemap, पढ़ने लायक HTML) के बाद जोड़िए, उनकी जगह कभी नहीं।

llms.txt क्या है?

llms.txt एक प्रस्ताव है, आधिकारिक वेब मानक नहीं। इसे 2024 में Jeremy Howard ने llmstxt.org पर प्रकाशित किया। विचार यह है: sitemap सर्च इंजनों के लिए सारे पेज गिनाती है, पर भाषा मॉडल की context window सीमित होती है और वह पूरी वेबसाइट को नहीं पचा सकता। Markdown में लिखी एक छोटी, चुनी हुई फ़ाइल उसे उन पेजों तक पहुँचा सकती है जो मायने रखते हैं।

मौजूदा स्पेसिफ़िकेशन के अनुसार llms.txt नाम की फ़ाइल रूट (/llms.txt) में या /docs/llms.txt जैसे किसी उप-पथ पर रखी जा सकती है। उसमें ये हिस्से इसी क्रम में होते हैं:

1. वेबसाइट या प्रोजेक्ट के नाम वाली एक H1। सिर्फ़ यही हिस्सा अनिवार्य है।
2. छोटे सार वाला एक blockquote (> से शुरू होने वाला उद्धरण-खंड)।
3. और ब्योरे के लिए वैकल्पिक पैराग्राफ़ या सूचियाँ।
4. H2 शीर्षकों से शुरू होने वाले वैकल्पिक खंड, जिनमें से हर एक में [नाम](पता) रूप की लिंक-सूची होती है, और चाहें तो उसके बाद कोलन और एक नोट।

परंपरा के अनुसार Optional नाम के खंड में दूसरे दर्जे के लिंक रखे जाते हैं, जिन्हें एजेंट तब छोड़ सकता है जब उसे छोटा context चाहिए।

यह हमारी अपनी फ़ाइल का संक्षिप्त रूप है, जो seogrinder.com/llms.txt पर है:

# SEOgrinder

> Free SEO analysis for public websites. Enter a web address and get a full report: speed, on-page SEO, accessibility, keywords, plus a prioritised list of what to fix first. No account needed.

## Tool

- [SEOgrinder](https://seogrinder.com/): the analysis tool
- [SEOgrinder as Markdown](https://seogrinder.com/index.md): what the tool does, as plain text

## Optional

- [Imprint](https://seogrinder.com/imprint): who runs the service

llms.txt, robots.txt और sitemap.xml: तीन अलग काम

ये तीनों एक-दूसरे की जगह नहीं लेतीं। जो क्रॉलर robots.txt में रोका गया है, वह आपकी llms.txt भी नहीं पढ़ सकता, और जो पेज JavaScript के बिना खाली रहता है, उसे लिंकों की सुंदर सूची नहीं बचा सकती।

क्या llms.txt काम करती है? हम असल में क्या जानते हैं

ईमानदार जवाब यह है: किसी ने इसका फ़ायदा दिखाया नहीं है, और रिपोर्टों के अनुसार सबसे बड़ा सर्च इंजन इस फ़ाइल को समर्थन नहीं देता। अब तक की रिपोर्टों में यह सामने आया है:

• Google इसे समर्थन नहीं देता। Google Search Central Live के एक कार्यक्रम की रिपोर्ट के अनुसार Gary Illyes ने कहा कि Google llms.txt को समर्थन नहीं देता और ऐसी कोई योजना भी नहीं है। यह रिपोर्ट LinkedIn पर डाली गई एक फ़ोटो पर आधारित है, किसी ट्रांसक्रिप्ट पर नहीं।
• कोई AI सिस्टम इसे इस्तेमाल करता हो, ऐसा ज्ञात नहीं। Google के John Mueller ने कहा कि उनकी जानकारी में फ़िलहाल कोई AI सिस्टम llms.txt का उपयोग नहीं करता, और उन्होंने इसकी तुलना पुराने keywords meta tag से की (Search Engine Journal)।
• Google की अपनी साइटें कोई सबूत नहीं हैं। दिसंबर 2025 में Google की डेवलपर साइटों पर llms.txt फ़ाइलें दिखीं। Mueller ने इसकी वजह CMS प्लेटफ़ॉर्म में हुआ बदलाव बताई, और जनवरी 2026 में जब पूछा गया कि क्या यह किसी तरह की सिफ़ारिश है, तो उन्होंने सीधा "no" कहा।
• एक लॉग फ़ाइल सिर्फ़ किस्सा है। जुलाई 2025 में एक साइट मालिक ने ऐसी लॉग फ़ाइल दिखाई, जिसमें OpenAI का क्रॉलर उसकी llms.txt को लगभग हर 15 मिनट में माँग रहा था। यह एक अनुरोध साबित करता है, यह नहीं कि सामग्री जवाबों में इस्तेमाल होती है।

स्रोत: Google और llms.txt पर Search Engine Roundtable, OpenAI के अनुरोधों पर और Google की डेवलपर साइटों पर। ये सोशल मीडिया पर कही गई बातों की दूसरे हाथ की रिपोर्टें हैं, इसलिए शब्दों को सावधानी से पढ़िए। स्थिति बदल भी सकती है: फ़ैसला लेने से पहले ताज़ा बयान देख लीजिए।

हमारी राय: llms.txt कम लागत वाला, पर साबित न हुआ अतिरिक्त कदम है। SEOgrinder रिपोर्ट के "AI के लिए तैयारी" वाले हिस्से में इसे "अतिरिक्त" समूह में रखता है, और जब तक कोई अतिरिक्त बिंदु अधूरा है, टूल खुलकर कहता है कि ये अलग-अलग निर्माताओं के सुझाव हैं और Google पर इनका असर साबित नहीं है।

फिर भी किसे इसे बनाना चाहिए?

यह प्रस्ताव एक व्यावहारिक ज़रूरत से निकला: कोई कोडिंग एजेंट किसी लाइब्रेरी का दस्तावेज़ीकरण खोलता है, ताकि API कॉल सही लिख सके। बहुत से पेजों वाली डॉक्यूमेंटेशन साइट के लिए Markdown में एक साफ़ सूची ठीक इसी काम आती है। यह हर उस साइट के लिए भी उपयोगी है जहाँ आप चाहते हैं कि एजेंट अंदाज़े से चलने के बजाय वे पाँच पेज ढूँढ लें जो मायने रखते हैं। अगर यह बेअसर निकला, तब भी कुछ नहीं खोया, क्योंकि फ़ाइल मिनटों में लिखी जाती है।

अगर आप किसी छोटे स्थानीय कारोबार की साइट चलाते हैं, तो समय बुनियादी चीज़ों पर लगाना बेहतर है: ऐसे पेज जिनका टेक्स्ट JavaScript के बिना HTML में दिखे, सही खुलने का समय और कीमतें टेक्स्ट के रूप में, और ऐसी robots.txt जो सर्च बॉट को अंदर आने दे।

पाँच मिनट में llms.txt कैसे बनाएँ

1. साइट का नाम H1 में लिखिए। # आपकी कंपनी काफ़ी है।
2. सार को blockquote में लिखिए। एक-दो सीधे वाक्य: आप क्या देते हैं, किसके लिए, कहाँ। कोई नारा नहीं।
3. अपने मुख्य पेज H2 शीर्षकों के नीचे सूचीबद्ध कीजिए। उत्पाद, दस्तावेज़ीकरण या संपर्क जैसे शीर्षक लीजिए।
4. हर लिंक को - [नाम](https://example.com/page): उसमें क्या है रूप में लिखिए। पूरे (absolute) पते इस्तेमाल कीजिए और नोट छोटे व ठोस रखिए।
5. दूसरे दर्जे के पेज ## Optional के नीचे रखिए। कानूनी पेज और आर्काइव यहीं रखिए।
6. फ़ाइल को UTF-8 टेक्स्ट के रूप में सहेजिए और /llms.txt पर प्रकाशित कीजिए। उसे स्टेटस 200 के साथ जवाब देना चाहिए।
7. उसे ताज़ा रखिए। जब कोई पेज दूसरी जगह चला जाए, लिंक बदल दीजिए। टूटे हुए लिंकों की सूची रखने से बेहतर है कि सूची ही न हो।

आप यह काम अपने कोडिंग असिस्टेंट को भी सौंप सकते हैं। SEOgrinder में AI के लिए तैयारी टैब खोलिए, "AI एजेंट के लिए जाँचें" के नीचे llms.txt वाली पंक्ति ढूँढिए और एजेंट प्रॉम्प्ट कॉपी करें दबाइए। अगर फ़ाइल नहीं है, तो प्रॉम्प्ट बताता है कि क्या बनाना है और उसे कैसे जाँचना है। अगर फ़ाइल पहले से है, तो आप पंक्ति खोलकर देख सकते हैं कि क्या मिला, और तब प्रॉम्प्ट असिस्टेंट से कहता है कि फ़ाइल को जाँचे और सिर्फ़ वही बदले जो गलत है।

क्या llms.txt पर noindex लगाना चाहिए?

Mueller ने कहा कि यह समझदारी हो सकती है: वेबसाइटें उस फ़ाइल से लिंक कर सकती हैं, और noindex के बिना वह इंडेक्स हो सकती है, जो उपयोगकर्ताओं को अजीब लगेगा। उन्होंने यह बात एक प्रसंगवश टिप्पणी में कही, नियम के तौर पर नहीं, इसलिए खुद तौलकर तय कीजिए। टेक्स्ट फ़ाइल के लिए यह X-Robots-Tag: noindex रिस्पॉन्स हेडर से हो सकता है। यह फ़ाइल किसी सामान्य पेज की नकल नहीं है, इसलिए डुप्लिकेट कंटेंट की समस्या नहीं बनती।

आम गलतियाँ

• पूरी sitemap उसमें चिपका देना। मकसद चुनाव है। बीस अच्छी तरह समझाए गए लिंक दो हज़ार नंगे लिंकों से बेहतर हैं।
• सार में विज्ञापन की भाषा। मॉडलों को तथ्य चाहिए: क्या, किसके लिए, कहाँ।
• सापेक्ष या टूटे लिंक। पूरे पते लिखिए और उन्हें जाँचिए।
• फ़ाइल को ही रोक देना। कोई फ़ायरवॉल नियम या robots.txt की कोई पंक्ति, जो बॉट को /llms.txt से दूर रखती है, पूरे मकसद को ख़त्म कर देती है।
• इसे रैंकिंग का औज़ार मान लेना। ऊपर के किसी स्रोत में इसका समर्थन नहीं मिलता।
• उसे भूल जाना। जो फ़ाइल पिछले साल के पेज गिनाती है, वह एजेंट को भटकाती है।

अक्सर पूछे जाने वाले सवाल

क्या llms.txt रैंकिंग फ़ैक्टर है?

इसका कोई सबूत नहीं है। Google के दस्तावेज़ के अनुसार उसके AI फ़ीचर के लिए AI टेक्स्ट फ़ाइलें ज़रूरी नहीं हैं, और रिपोर्टों के अनुसार Google इस फ़ाइल को समर्थन नहीं देता।

क्या ChatGPT या Claude मेरी llms.txt इस्तेमाल करेंगे?

कंपनियों के बाहर कोई यह नहीं बता सकता। कुछ AI कंपनियाँ अपने दस्तावेज़ीकरण के लिए llms.txt प्रकाशित करती हैं, और एक लॉग फ़ाइल दिखाती है कि कम से कम एक क्रॉलर ऐसी फ़ाइलें माँगता है। इससे यह नहीं पता चलता कि सामग्री जवाबों में कैसे या कितनी इस्तेमाल होती है।

क्या llms.txt और robots.txt एक ही चीज़ हैं?

नहीं। robots.txt क्रॉलरों की पहुँच को नियंत्रित करती है। llms.txt सामग्री का वर्णन करती है। ऊपर की तालिका देखिए। robots.txt के नियमों को अलग से AI क्रॉलर के लिए robots.txt लेख में समझाया गया है।

क्या इसे जोड़ने के लिए डेवलपर चाहिए?

नहीं। यह एक टेक्स्ट फ़ाइल है। अगर आप ऐसे CMS या प्लेटफ़ॉर्म पर हैं जिसका अपना रूट फ़ोल्डर है, तो उसे /llms.txt पर उपलब्ध कराने के लिए शायद एक प्लगइन या रीराइट नियम चाहिए होगा।

मेरी फ़ाइल सही चल रही है, यह कैसे जाँचूँ?

ब्राउज़र में https://example.com/llms.txt खोलिए। वहाँ टेक्स्ट दिखना चाहिए और स्टेटस 200 होना चाहिए। फिर मुफ़्त स्कैन चलाइए: SEOgrinder बताता है कि फ़ाइल मौजूद है या नहीं, और दिखाता है कि उसमें क्या मिला।

आपका अगला कदम

पहले बुनियादी चीज़ें जाँचिए: अपनी वेबसाइट पर मुफ़्त स्कैन चलाइए और "AI के लिए तैयारी" टैब खोलिए। अगर robots.txt, sitemap और AI क्रॉलर के नियम ठीक हैं, तो पाँच मिनट में अपनी llms.txt बनाइए और दोबारा जाँचिए।