AI coding agent से SEO की समस्याएँ ठीक करें: Claude Code और Cursor के लिए सुरक्षित तरीक़ा
संक्षिप्त उत्तर: AI coding agent आपकी साइट की उन SEO समस्याओं को ठीक कर सकता है जो यांत्रिक हैं और जिनकी जाँच हो सकती है: title, meta description, canonical tag, hreflang, alt टेक्स्ट, सुरक्षा हेडर, और robots.txt, साइटमैप व llms.txt फ़ाइलें। उसे एक बार में एक नतीजा सौंपिए, हर नतीजे के साथ वह शर्त जो बताए कि काम कब पूरा हुआ, उसे branch पर काम करने दीजिए, diff ख़ुद पढ़िए और बदलाव के बाद पेज को दोबारा नापिए। उसे सामग्री गढ़ने, आपके कीवर्ड चुनने, आपकी कंपनी की ओर से बोलने या यह तय करने नहीं देना चाहिए कि AI क्रॉलर आपकी साइट पढ़ सकते हैं या नहीं। सुधार से पेज तकनीकी रूप से सही बनता है। बेहतर रैंकिंग की गारंटी कभी नहीं होती।
SEO में AI coding agent कहाँ काम का है, और कहाँ नहीं?
SEO ऑडिट से दो तरह के नतीजे निकलते हैं। कुछ यांत्रिक होते हैं: उनका एक ही सही जवाब होता है और आप पेज को माँगकर उसे जाँच सकते हैं। बाक़ी ऐसे फ़ैसले होते हैं जो किसी इंसान के हैं। Claude Code, Cursor या GitHub Copilot जैसा AI coding agent पहली तरह के काम के लिए ठीक बैठता है और दूसरी तरह के काम में जोखिम भरा है।
एजेंट के लिए अच्छे काम:
- Title और meta description। कोई tag छूटा हो, दोहराया गया हो या ग़लत लंबाई का हो, तो उसे टेम्पलेट या सामग्री की फ़ाइल में ढूँढना जल्दी हो जाता है। एजेंट को टेक्स्ट वही लेना चाहिए जो पेज पहले से कहता है, शून्य से विज्ञापन-जैसा टेक्स्ट नहीं लिखना चाहिए।
- Canonical tag और hreflang। दोनों नियम हैं, गद्य नहीं। hreflang में एक जाल है जिस पर हम आगे लौटेंगे: हर भाषा-संस्करण को बाक़ी संस्करणों से वापस लिंक करना होता है।
- Alt टेक्स्ट। वहाँ ठीक है जहाँ छवि का मतलब आसपास के पेज से साफ़ है। वरना एजेंट को पूछना चाहिए।
- सुरक्षा हेडर। सर्वर या फ़्रेमवर्क के कॉन्फ़िगरेशन की कुछ पंक्तियाँ, जिन्हें
curl -Iसे जाँचना आसान है। - रूट की फ़ाइलें:
robots.txt,sitemap.xmlऔरllms.txt। छोटा सादा टेक्स्ट, जिसका नतीजा आप तुरंत पढ़ सकते हैं।
जो काम आपके पास ही रहते हैं:
- सामग्री गढ़ना। प्रोडक्ट के तथ्य, कीमतें, ग्राहकों की गवाहियाँ, आपकी कंपनी के बारे में दावे। SEOgrinder जो briefing बनाता है, वह अपने कार्य-नियमों में यही कहता है: सामग्री मत गढ़ो, छूटा हुआ टेक्स्ट पेज पर पहले से मौजूद चीज़ों से निकालो, या पूछो।
- कीवर्ड और विषय के फ़ैसले। कौन-सा पेज किस वाक्यांश पर लक्ष्य साधे, यह कारोबार का सवाल है।
- मालिक के फ़ैसले। AI क्रॉलर आपकी साइट पढ़ सकते हैं या नहीं, और ट्रेनिंग के लिए उसे इस्तेमाल कर सकते हैं या नहीं, यह आपका अधिकार है। SEOgrinder के एजेंट प्रॉम्प्ट साफ़ कहते हैं: अनुमति देना या रोकना मालिक का फ़ैसला है, इसलिए पूछिए, उसकी जगह चुनिए मत।
- गति का काम, आंशिक रूप से। लक्ष्य मापे जा सकते हैं: Core Web Vitals पेज लोड के 75वें पर्सेंटाइल पर गिने जाते हैं, मोबाइल और डेस्कटॉप अलग-अलग, और “अच्छा” का मतलब है LCP 2.5 सेकंड तक, INP 200 मिलीसेकंड तक और CLS 0.1 तक (web.dev)। जाने-पहचाने सुधार एजेंट लगा सकता है, पर बाद का एक लैब रन यह नहीं दिखाता कि असली आगंतुक क्या नापते हैं, इसलिए क्या हटाना है, यह आप ख़ुद तय कीजिए।
छह चरणों का सुरक्षित क्रम
लक्ष्य एक ऐसा चक्र है जिसमें हर बदलाव छोटा, जाँचा हुआ और वापस लिया जा सकने वाला हो।
- स्कैन। अपनी सार्वजनिक वेबसाइट का पता SEOgrinder में डालिए। यह मुफ़्त है और खाता नहीं माँगता। आपको कुल स्कोर, असर के क्रम में लगी कार्य-सूची और छह हिस्से मिलते हैं: गति, Google पर पेज, सुगम्यता, तकनीक और सुरक्षा, AI के लिए तैयारी, और पूरी वेबसाइट।
- सौंपना। पूरी सूची के लिए रिपोर्ट में AI को सौंपें दबाइए। इससे briefing खुलती है, यानी Markdown में एक कार्य-आदेश, जिसे आप
.mdके रूप में डाउनलोड कर सकते हैं या कॉपी करके अपने एजेंट में चिपका सकते हैं। किसी एक काम के लिए उसके कार्ड पर AI को सौंपें दबाइए। AI एजेंटों के लिए बनी जाँचों में, यानी “AI के लिए तैयारी” टैब के “AI एजेंट के लिए जाँचें” हिस्से में, हर पंक्ति पर एजेंट प्रॉम्प्ट कॉपी करें बटन है (पूरी हो चुकी पंक्तियों में यह बटन उन्हें खोलने पर दिखता है)। ये प्रॉम्प्ट अंग्रेज़ी में लिखे हैं, क्योंकि वे एक मॉडल के लिए हैं और जिन विनिर्देशों की ओर वे इशारा करते हैं वे अंग्रेज़ी में हैं। - एक बार में एक नतीजा। एजेंट से कहिए कि पहला काम करे और रुक जाए। “पूरा SEO” माँगिए मत। छोटा काम छोटा diff देता है, जिसे आप पढ़ सकें।
- diff पढ़िए और टेस्ट चलाइए। आपका build, linter और टेस्ट सूट इसी काम के लिए हैं। बदली हुई फ़ाइलें ख़ुद खोलिए। अगर एजेंट ने कुछ ऐसा छुआ जिसका काम में ज़िक्र नहीं था, तो पूछिए क्यों।
- दोबारा जाँचिए। बदलाव आपके सार्वजनिक पते पर चालू हो जाए, तो रिपोर्ट खोलकर दोबारा जाँचें दबाइए। SEOgrinder रिपोर्ट को अधिकतम 24 घंटे तक रखता है, इसलिए इस बटन के बिना आप पुराना नतीजा देखेंगे। यह बटन प्रति घंटे कुछ ही बार चलता है। नतीजा अब ग़ायब होना चाहिए। SEOgrinder सिर्फ़ सार्वजनिक वेबसाइटें जाँचता है, इसलिए जो बदलाव सिर्फ़ आपके लैपटॉप पर है या लॉगिन के पीछे है, वह उसे नहीं दिखता। इसलिए रिलीज़ के बाद जाँचिए, और बदलाव इतना छोटा रखिए कि उसे वापस लिया जा सके।
- commit। हर नतीजे के लिए एक commit, जिसके संदेश में उसका नाम हो। जब दोबारा जाँच सहमत हो, तब merge कीजिए, फिर अगला काम लीजिए।
एक अच्छा कार्य-आदेश कैसा दिखता है
स्पष्ट लक्ष्य के बिना एजेंट वहीं रुक जाता है जहाँ कुछ ठीक-सा लगे। अच्छा आदेश अंदाज़े की गुंजाइश हटा देता है। उसके चार हिस्से होते हैं:
| हिस्सा | क्या करता है | SEOgrinder की briefing में कहाँ मिलता है |
|---|---|---|
| लक्ष्य | बताता है कि काम क्या है और किस साइट के लिए | कार्यभार और पेज |
| जाँचने लायक़ अंतिम शर्त | एजेंट को (और आपको) तय करने देती है कि काम पूरा हुआ या नहीं | हर काम के नीचे “पूरा तब जब” |
| कार्य-नियम | एजेंट के करने की सीमाएँ तय करते हैं | कार्य-नियम |
| बाद की जाँच | पेज को दोबारा नापती है | अपना काम जाँचिए (सिर्फ़ लोकल इंस्टॉलेशन में) |
Briefing इस क्रम में बनी है: कार्यभार, पेज, मौजूदा स्थिति, कीवर्ड, काम, कार्य-नियम और डेटा (मशीन-पठनीय)। SEOgrinder के लोकल इंस्टॉलेशन में “अपना काम जाँचिए” हिस्सा कार्य-नियम और डेटा के बीच आता है; seogrinder.com की briefing में वह नहीं होता। हर काम में उसकी समस्या, सुधार का रास्ता, मेहनत का अनुमान और “पूरा तब जब” ब्लॉक होता है। ऐसा ब्लॉक किसी टेस्ट की तरह लिखा होता है, जैसे:
meta[name=description] exists
description.length in [min, max]
description contains the focus keyword
असली briefing में सीमाएँ आपके पेज के हिसाब से भरी होती हैं। बात यह है कि “पूरा” को जाँचा जा सकता है। कार्य-नियम छोटे हैं: ऊपर से नीचे काम कीजिए, हर बदलाव से पहले प्रभावित फ़ाइल ढूँढिए, जिस काम की जगह न मिले उसे छोड़कर बताइए, कोई सामग्री मत गढ़िए, मौजूदा फ़ॉर्मैटिंग, भाषा और लहजा बनाए रखिए, और आख़िर में गिनाइए कि कौन-सी फ़ाइलें बदलीं और कौन-से काम किए या छोड़े गए, कारण समेत।
लोकल इंस्टॉलेशन में “अपना काम जाँचिए” वाला हिस्सा एजेंट से कहता है कि पेज को दोबारा नापे। briefing के टेक्स्ट के अनुसार वह तुलना सिर्फ़ वही जाँचती है जो ऊपर के काम कहते हैं, रैंकिंग नहीं, और उसकी कमांड उसी कंप्यूटर पर चलनी चाहिए जहाँ SEOgrinder चल रहा है। इसलिए जिस जाँच पर आप हमेशा भरोसा कर सकते हैं, वह चरण 5 वाली है: रिलीज़ कीजिए, दोबारा जाँचें दबाइए, रिपोर्ट पढ़िए।
एक छोटा नमूना प्रॉम्प्ट
नीचे मौजूदा robots.txt के लिए एजेंट प्रॉम्प्ट का छोटा किया हुआ रूप है, जिसमें साइट के रूप में example.com है। SEOgrinder का असली प्रॉम्प्ट इससे लंबा है और ज़्यादा जाँचें गिनाता है।
# Review and improve the existing robots.txt
Your site already serves a robots.txt. Review it against RFC 9309
and fix what is wrong. Change only what is needed.
Do not remove a rule you do not understand: ask the site owner.
## Check
- Served as text/plain with HTTP 200, not as an HTML page
- Valid User-agent groups with Allow/Disallow rules, no syntax errors
- No rule blocks pages that should appear in search
- The sitemap is listed as an absolute URL
- AI crawlers: allowing or blocking is the owner's decision.
Ask, do not choose for them
## Read it
curl -sg https://example.com/robots.txt
Report the problems you found and the changes you made.
चार आदतें इस प्रॉम्प्ट को सुरक्षित बनाती हैं, और आप उन्हें अपने प्रॉम्प्ट में उतार सकते हैं। संयम: “change only what is needed” diff को छोटा रखता है। “मुझे नहीं पता” कहने का रास्ता: “ask the site owner” एजेंट को एक जायज़ निकास देता है, ताकि उसे अंदाज़ा न लगाना पड़े। फ़ैसलों की सीमा: मालिक के फ़ैसलों को साफ़ तौर पर मालिक का कहा गया है। पहले असली हालत: curl वाली पंक्ति एजेंट से असली फ़ाइल पढ़वाती है, यह मान लेने की जगह कि उसमें क्या होगा। आख़िरी पंक्ति आपको एक सारांश देती है, जिसे आप diff से मिला सकते हैं।
एजेंट आपके कोड को छुए, उससे पहले के सुरक्षा नियम
- branch पर काम कीजिए, या प्रोजेक्ट की प्रति पर। एजेंट को कभी प्रोडक्शन सर्वर पर सीधे फ़ाइलें बदलने मत दीजिए। बदलाव आपके सामान्य रिलीज़ के रास्ते से ही प्रोडक्शन तक पहुँचें।
- हर diff पढ़िए। एजेंट पूरे भरोसे के साथ ग़लत हो सकता है। diff में आपको यह दिख जाता है।
- गोपनीय चीज़ें बाहर रखिए। प्रॉम्प्ट में या चिपकाई गई फ़ाइलों में कोई कुंजी, टोकन या
.envकी सामग्री न हो। जाँचिए कि एजेंट के बदलावों ने उनमें से कुछ रिपॉज़िटरी में न उतार दिया हो। - नमूने के बिना थोक बदलाव नहीं। अगर कोई काम हर पेज पर लगता है, जैसे title का टेम्पलेट, तो पहले उसे एक पेज पर लगाइए, नतीजा देखिए, फिर फैलाइए।
- हर commit से पहले build और टेस्ट चलाइए।
- लाए गए टेक्स्ट को डेटा मानिए। पेज की सामग्री, Search Console का export या सर्वर का जवाब ऐसे वाक्य रख सकता है जो निर्देश जैसे सुनाई दें। आपके निर्देश वही हैं जो आपने ख़ुद लिखे। SEOgrinder का Search Console सारांश export की खोजों और पतों को इसी वजह से साफ़ चिह्नित करता है कि वे Google का डेटा हैं, निर्देश नहीं।
आम ग़लतियाँ
- पूरी सूची एक साथ सौंप देना। diff बढ़ता जाता है और आप समझ नहीं पाते कि कौन-सा बदलाव किस समस्या की वजह बना।
- AI क्रॉलर के बारे में एजेंट को फ़ैसला करने देना। यह इस बारे में नियम है कि आपकी सामग्री कौन इस्तेमाल करे। यह आपका फ़ैसला है।
- वापसी के संदर्भ के बिना hreflang। Google दर्ज करता है कि हर भाषा-संस्करण को ख़ुद का और बाक़ी सबका नाम बताना चाहिए, और वापसी के संदर्भ छूटने पर संकेत अनदेखे हो सकते हैं। जो एजेंट सिर्फ़ एक पेज बदलकर बाक़ी छोड़ दे, वह पूरा सेट तोड़ देता है। काम में लिखिए कि सारे संस्करण साथ में बदलने हैं, और हर संस्करण में नतीजा पढ़िए। ब्योरा Google की localized versions की गाइड में है।
- नया robots.txt समूह जो पुराने नियम भूल जाए। RFC 9309 कहता है कि क्रॉलर वह समूह इस्तेमाल करता है जो उसके नाम से मेल खाता है, और अगर कोई है तो उस पर
*समूह लागू नहीं होता। जब एजेंट किसी AI बॉट के लिए अलग ब्लॉक जोड़े, तो उन सभी नियमों को वहाँ दोहराना होगा जिन्हें वह बॉट माने। - स्टेटस 200 वाला मिलनसार त्रुटि पेज। ग़ायब पेज को 404 या 410 लौटाना चाहिए। अगर सामग्री “नहीं मिला” कहती है पर स्टेटस 200 है, तो Google का Search Console soft 404 दर्ज कर सकता है, जैसा Google के HTTP स्टेटस कोड वाले पेज में बताया गया है। इसका पूरा ब्योरा Soft 404 error वाले लेख में है। सुंदर त्रुटि पेज को भी स्टेटस 404 ही भेजना होगा।
- बिना नापे “हो गया” मान लेना। एजेंट की रिपोर्ट बताती है कि उसने क्या बदलना चाहा। क्या चालू है, यह सिर्फ़ नया स्कैन बताता है।
अक्सर पूछे जाने वाले सवाल
SEO सुधार के लिए कौन-सा AI coding agent सबसे अच्छा है?
हम टूल की रैंकिंग नहीं करते और किसी मॉडल या प्रोडक्ट की क्षमता के बारे में कोई दावा नहीं करते। Briefing एक Markdown फ़ाइल है जो Claude Code, Cursor, GitHub Copilot या ChatGPT के लिए लिखी गई है। आदेश की गुणवत्ता, काम का आकार और आपकी समीक्षा टूल के नाम से ज़्यादा मायने रखती है।
क्या एजेंट पूरा ऑडिट बिना निगरानी के चला सकता है?
हम ऐसा नहीं करेंगे। यांत्रिक नतीजे एजेंट के लायक़ हैं, फ़ैसले नहीं, और निगरानी के बिना चलाने पर एक ग़लत अंदाज़ा सीधे प्रोडक्शन तक पहुँच सकता है। एक काम, एक diff, एक जाँच धीमा है, पर कहीं ज़्यादा सुरक्षित।
क्या SEOgrinder मेरी वेबसाइट बदलता है?
नहीं। SEOgrinder आपके सार्वजनिक पेज पढ़ता है और जो मिलता है उसकी रिपोर्ट देता है। बदलाव आपका एजेंट आपके प्रोजेक्ट में करता है, और उनकी समीक्षा आप करते हैं।
क्या नतीजे ठीक करने से मेरी रैंकिंग बढ़ेगी?
यह कोई गारंटी नहीं दे सकता। नतीजे ठीक करने से तकनीकी ग़लतियाँ हटती हैं और पेज क्रॉलरों और आगंतुकों के लिए पढ़ने में आसान बनता है, यानी एक ठोस आधार। रैंकिंग या AI जवाबों में ज़िक्र का क्या होगा, यह कोई टूल वादा नहीं कर सकता।
आपका अगला कदम
अपनी साइट पर मुफ़्त स्कैन चलाइए, रिपोर्ट खोलिए और सूची का पहला काम चुनिए। सिर्फ़ वही अपने एजेंट को सौंपिए, diff पढ़िए, रिलीज़ कीजिए, दोबारा जाँचें दबाइए और commit कीजिए। उसके बाद दूसरा काम चाहिए तो Soft 404 error की जाँच आज़माइए: वह curl की एक पंक्ति से परखी जा सकती है, और एजेंट के लिए वैसा ही यांत्रिक काम है।