موقعي لا يظهر في جوجل؟ 7 فحوص لمعرفة السبب وإصلاحه

الجواب المختصر: حين تقول «موقعي لا يظهر في جوجل» فالسبب في الغالب شيء يمكنك فحصه بنفسك. تأكد أولًا أن الصفحة غائبة فعلًا عن فهرس Google، ثم افحص سبعة أمور بهذا الترتيب: رمز الحالة، ثم noindex، ثم robots.txt، ثم Soft 404، ثم JavaScript، ثم خريطة الموقع والروابط، ثم الوقت. لا أحد يعرف متى ستظهر الصفحة. يقول Google إن الزحف قد يستغرق من بضعة أيام إلى بضعة أسابيع، وإن كون الصفحة مفهرسة لا يعني أنها في مرتبة جيدة.

موقعي لا يظهر في جوجل؟ تأكد أولًا أن الصفحة غائبة فعلًا

عبارة «لا يظهر» قد تعني ثلاثة أشياء مختلفة، والأول وحده موضوع هذه المقالة:

• الصفحة ليست في فهرس Google. لم يخزنها Google، فلا يمكن أن تظهر في أي نتيجة بحث. الفحوص السبعة أدناه تبحث عن السبب.
• الصفحة في الفهرس، لكن ليس حيث تبحث. تقول مساعدة Google لتقرير فهرسة الصفحات (Page indexing) إن نتائج البحث تُخصَّص لكل مستخدم بحسب سجل بحثه وموقعه ومتغيرات أخرى. فالصفحة المفهرسة لا تظهر في كل بحث ولا في الموضع نفسه. وهذه مسألة ترتيب لا مسألة فهرسة.
• الصفحة جديدة تمامًا. عندها يكون الوقت أرجح الأسباب (الفحص 7).

لتعرف أي حالة هي حالتك:

• ابحث عن العنوان الدقيق. اكتب site:https://your-site.example/your-page في Google. تذكر مساعدة تقرير فهرسة الصفحات هذه الصيغة، أي ‎site:‎ متبوعة بعنوان URL الدقيق، اختبارًا أول للمواقع الصغيرة. وتصف مساعدة فحص عنوان URL البحث عن عنوان الصفحة بأنه الاختبار الحاسم لمعرفة هل تظهر.
• اسأل Search Console. تعرض أداة «فحص عنوان URL»‏ (URL Inspection) ما خزّنه Google عن عنوان واحد. الرسالة «URL is on Google» تعني أن الصفحة مؤهلة للظهور في نتائج البحث، لكن ظهورها غير مضمون. والرسالة «URL is not on Google» تعني أنها لا تستطيع الظهور. والرسالة «URL is unknown to Google» تعني أن Google لم ير هذا العنوان من قبل. والجواب المخزّن ليس مباشرًا؛ أما الاختبار المباشر (Live test) فيفحص الصفحة كما هي الآن.

وإذا كانت الصفحة مدرجة أصلًا في جدول أسباب عدم الفهرسة («Why pages aren’t indexed» في الواجهة الإنجليزية)، فاسم الحالة يدلّك على الفحص المناسب:

الفحوص السبعة، بالترتيب الذي تجريها به

الفحوص الأولى تعطّل كل ما بعدها. استبدل your-site.example بعنوان موقعك. وتجد مع كل فحص كيف تتعرف عليه، وماذا تفعل، وماذا يعرض SEOgrinder بشأنه.

الفحص 1: هل ترد الصفحة بالرمز 200؟

كل رد من الخادم يبدأ برمز حالة. تقول صفحة Google عن رموز حالة HTTP إنه لا يفهرس عناوين URL التي ترد برمز 4xx، وإن العناوين المفهرسة التي تبدأ بإرجاع رمز كهذا تسقط من الفهرس. أما أخطاء الخادم المستمرة (5xx) فتبطئ الزحف، وتُهمل العناوين المعنية في النهاية. وإعادة التوجيه تحيل القرار إلى هدفها: يتجاهل Google محتوى العنوان الذي يعيد التوجيه، ويقول تقرير فهرسة الصفحات إن «Page with redirect» لا تُفهرس هي نفسها. والرمز 200 شرط لا وعد؛ فرمز 2xx ‏«doesn't guarantee indexing»‏، أي لا يضمن الفهرسة، كما يكتب Google.

وهناك عائقان يسهل إغفالهما. تسجيل الدخول يُبعد Googlebot لأنه لا يرسل بيانات اعتماد. وقد ترد جدران الحماية أو الحماية من الروبوتات على Googlebot بخطأ بينما يرى متصفحك الصفحة؛ وتذكر مساعدة Google أن جدران الحماية الخاطئة الإعداد وأنظمة الحماية من هجمات DoS طريقة لحجب Googlebot عن غير قصد.

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/your-page

كيف تتعرف عليه: المطلوب هو 200 والعنوان الذي تقصده. هذا يعرض ما يصل إلى حاسوبك. أما ما يصل إلى Google فيعرضه الاختبار المباشر في أداة فحص عنوان URL.

الحل: عالج ما يسبب رمز الخطأ (سجل الخادم، قاعدة جدار الحماية، اشتراط تسجيل الدخول). وإذا كانت الصفحة إعادة توجيه فيجب أن يرد هدفها بالرمز 200.

في SEOgrinder: تذكر بطاقة «الفهرسة» في تبويب «الصفحة في Google» رمز حالة HTTP. والرمز السيئ يصير مهمة أيضًا، مثل «أعاد الخادم الحالة 503».

الفحص 2: هل الصفحة موسومة بـ noindex؟

تقول قاعدة noindex لـ Google أن يُبقي الصفحة خارج نتائجه. توضع في وسم robots meta داخل رأس الصفحة أو في ترويسة HTTP باسم X-Robots-Tag. وبعد أن يزحف Googlebot إلى الصفحة ويقرأ القاعدة، تُسقَط الصفحة كليًا من نتائج بحث Google، كما تقول وثائق noindex: ‏«Google will drop that page entirely from Google Search results»‏. وقد تصل القاعدة إلى صفحة بالخطأ بثلاث طرق:

• إعداد في نظام إدارة المحتوى. في WordPress خيار اسمه بالإنجليزية «Discourage search engines from indexing this site». وبحسب توثيق WordPress يكتب WordPress منذ الإصدار 5.3 وسم robots meta فيه noindex,nofollow في رأس الصفحة.
• ترويسة. قد يرسل الخادم أو شبكة CDN القاعدة X-Robots-Tag: noindex. لا تظهر هذه الترويسة في مصدر الصفحة، فيسهل إغفالها.
• طلب إزالة. إذا استخدم أحدهم أداة الإزالة (Removals) لهذا العنوان، فالطلب يدوم نحو ستة أشهر فقط، ويسرده تبويب «Temporary Removals» (مساعدة Search Console).

curl -s -D - -o /dev/null https://your-site.example/your-page | grep -i x-robots-tag
curl -s https://your-site.example/your-page | grep -i -E 'name="(robots|googlebot)"'

كيف تتعرف عليه: عدم ظهور مخرجات يعني أنه لم يُعثر على ترويسة ولا وسم. وإذا ظهر سطر فإن noindex (أو none) يُبقي الصفحة خارج النتائج. وإذا كان robots.txt يحجب الصفحة أيضًا (الفحص 3) فإن الزاحف لن يرى القاعدة أبدًا («the crawler will never see the noindex rule»)، فيجب رفع الحجب أولًا. والوسم الذي يضيفه JavaScript لاحقًا لا يظهر في curl؛ وما استلمه Google فعلًا يعرضه الاختبار المباشر.

الحل: أزل القاعدة من كل مكان توجد فيه: خيار نظام إدارة المحتوى، ووسم meta، والترويسة. وبعد أن تزول يمكنك أن تطلب الفهرسة من أداة فحص عنوان URL.

في SEOgrinder: يتحول السطر الأول في بطاقة «الفهرسة» إلى «الصفحة مستبعدة من الفهرسة» حين يقول وسم robots meta إن الصفحة noindex، وتعرض قائمة المهام «الصفحة مستبعدة من Google». أما noindex في ترويسة HTTP فيظهر مهمةً باسم «ترويسة HTTP تستبعد الصفحة من Google».

الفحص 3: هل يحجب robots.txt الصفحة؟

الملف https://your-site.example/robots.txt يخبر الزواحف بالمسارات التي تتركها. تصفه مقدمة Google عن robots.txt بأنه وسيلة لإدارة حركة الزواحف في المقام الأول. والقاعدة المطابقة لصفحتك تمنع Googlebot من جلبها: العنوان المحجوب يُتخطى دون أي طلب (أساسيات JavaScript SEO). ومع ذلك قد يظهر العنوان في النتائج إذا ربطت به صفحات أخرى، لكن بلا وصف لأن Google لم يقرأ الصفحة.

الحادثة الكلاسيكية سطران:

User-agent: *
Disallow: /

يحجبان الموقع كله عن كل زاحف يلتزم بالملف. وقاعدة أضيق مثل ‎Disallow: /shop/‎ تحجب ذلك المجلد وكل ما تحته.

كيف تتعرف عليه: افتح الملف وقارن كل سطر Disallow بمسار صفحتك.

الحل: احذف القاعدة أو ضيّقها حتى لا تطابق صفحتك.

في SEOgrinder: تقول بطاقة «الفهرسة»: «عنوان URL هذا محجوب عن الزحف»، وتعرض القاعدة التي طُبّقت. والمهمة اسمها «ملف robots.txt يحجب عنوان URL هذا».

الفحص 4: هل الصفحة Soft 404؟

Soft 404 صفحة تقول «غير موجودة» أو لا تعرض شيئًا يذكر، لكنها ترد بالرمز 200. تقول صفحة رموز الحالة لدى Google إن Search Console يعرض خطأ Soft 404 حين يحتوي رد 2xx رسالة خطأ أو صفحة فارغة. وللصفحات غير الموجودة فعلًا يوصي Google برمز 404 حقيقي. أما الصفحة التي يجب أن تكون موجودة فالعلاج عكس ذلك: امنحها محتوى حقيقيًا.

كيف تتعرف عليه: في تقرير فهرسة الصفحات ابحث عن السبب «Soft 404». ولعنوان واحد شغّل الاختبار المباشر وافتح «عرض الصفحة التي تم اختبارها» («View tested page»)، فيعرض لقطة للصفحة كما يصيّرها Google. ثم اسأل خادمك عن عنوان لا يمكن أن يوجد:

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/page-that-cannot-exist

المطلوب هو 404. وإذا ظهر 200 فالخادم يرد على كل عنوان بالنجاح، وهذا النمط وراء حالات Soft 404.

الحل: يجب أن يرسل الخادم 404 أو 410 لما هو غير موجود. وإصلاحات nginx وNode والتطبيقات أحادية الصفحة في مقالتنا عن أخطاء Soft 404.

في SEOgrinder: في بطاقة «الفهرسة» سطر «عناوين URL المجهولة تُعيد 404 بشكل صحيح»، أو «عناوين URL المجهولة تُعيد 200 بدل 404» مع مهمة. يختلق SEOgrinder عنوانًا ويسأل خادمك عنه، فهو يختبر كيف يعامل خادمك العناوين غير الموجودة. أما هل صنّف Google صفحتك Soft 404 فلا يُظهره غير Search Console.

الفحص 5: هل يُبنى المحتوى داخل المتصفح فقط؟

ينفّذ Google شيفرة JavaScript. وتشرح أساسيات JavaScript SEO لديه أن الصفحات ذات الرمز 200 تنتظر في طابور للتصيير، وقد يستغرق ذلك بضع ثوانٍ لكنه قد يطول («a few seconds, but it can take longer»). فـ JavaScript وحده لا يُبعد صفحة عن Google. لكنه يصبح سببًا في أربع حالات تصفها الصفحة نفسها:

• noindex في HTML الأصلي. إذا رأى Google القاعدة noindex فقد يتخطى التصيير، فالشيفرة التي تزيل الوسم قد لا تعمل كما تتوقع («may not work as expected»). وإن أردت فهرسة الصفحة فلا تضع noindex في الشيفرة الأصلية أصلًا.
• نصوص برمجية محجوبة. لا يصيّر Google شيفرة JavaScript من ملفات محجوبة أو في صفحات محجوبة.
• روابط ليست روابط. لا يكتشف Google إلا الروابط التي هي عناصر ‎<a>‎ ذات سمة href. والعناوين التي تختلف بعد علامة ‎#‎ فقط ليست موثوقة.
• صفحات الخطأ في التطبيقات أحادية الصفحة. التطبيق الذي يرد بالرمز 200 على كل عنوان ينتج حالات Soft 404 (الفحص 4).

كيف تتعرف عليه: اختر «عرض مصدر الصفحة» (View page source) لا لوحة العناصر في أدوات المطور، وابحث عن عنوانك ونصك الرئيسي. إذا غابا فإن JavaScript هو الذي يبنيهما. ثم استعمل الاختبار المباشر و«عرض الصفحة التي تم اختبارها» لترى كيف صيّر Google الصفحة.

الحل: قدّم المحتوى في HTML نفسه. ويصف Google التصيير على الخادم أو التصيير المسبق بأنه فكرة جيدة، لأن «not all bots can run JavaScript»، أي لا تستطيع كل الروبوتات تنفيذ JavaScript. وهذه الروبوتات الأخرى موضوع مقالتنا عن JavaScript وزواحف الذكاء الاصطناعي.

في SEOgrinder: تظهر المهمة «الصفحة لا تُبنى إلا داخل المتصفح» حين يحمل HTML الذي يرسله خادمك نصًا قليلًا جدًا وعناوين وروابط داخلية شبه معدومة. وهي تنبّه إلى الخطر على الزواحف التي لا تنفذ JavaScript. أما هل يصيّر Google صفحتك صحيحًا فيعرضه الاختبار المباشر.

الفحص 6: هل يجد Google الصفحة؟ خريطة الموقع والروابط

لا يفهرس Google إلا ما يجده. وبحسب مساعدة تقرير فهرسة الصفحات يعرف عن الصفحة عبر خريطة موقع أو طلب زحف أو رابط إليها في مكان ما. ويزحف Googlebot إلى عناوين وجدها في صفحات زحف إليها من قبل، فقد تبقى صفحة لا يربط بها شيء مجهولة، خصوصًا في موقع جديد قليل الروابط الخارجية (نظرة عامة على خرائط المواقع).

كيف تتعرف عليه: افتح https://your-site.example/sitemap.xml أو العنوان المذكور في robots.txt وابحث عن الصفحة. وتأكد كذلك أن رابطًا يؤدي إليها من صفحة مفهرسة فعلًا.

الحل:

• أضفها إلى خريطة الموقع. يطلب Google عناوين كاملة مطلقة، ولا يريد إلا العناوين التي ترغب في ظهورها في نتائج البحث (إنشاء خريطة موقع). والعناوين التي ترد بـ 404 أو تعيد التوجيه أو تحمل noindex لا مكان لها فيها.
• أرسل الخريطة. يعرض تقرير «ملفات Sitemap»‏ («Sitemaps») في Search Console متى قرأ Googlebot الملف وهل ظهرت أخطاء. ويجب ألا يحجب robots.txt الملف.
• اربط بالصفحة داخليًا من صفحة واحدة على الأقل مفهرسة فعلًا، كالصفحة الرئيسية أو مقالة ذات صلة.
• اطلب الفهرسة باعتدال. في الموقع الجديد يعدّ Google طلب فهرسة الصفحة الرئيسية أفضل أول خطوة. وأداة فحص عنوان URL مخصصة لـ «just a few URLs»، أي لعناوين قليلة، ولها حصة محددة، ومن يطلب العنوان نفسه مرارًا لا يجعل زحفه أسرع («won't get it crawled any faster»، مساعدة إعادة الزحف).

تساعد خريطة الموقع Google على اكتشاف العناوين، لكنها لا تضمن («doesn't guarantee») أن كل ما فيها سيُزحف إليه ويُفهرس. ويضيف Google أن موقعًا يبلغ نحو 500 صفحة أو أقل ومترابطًا بالروابط ترابطًا شاملًا قد لا يحتاج إليها أصلًا.

في SEOgrinder: تقول بطاقة «الفهرسة»: «عنوان URL هذا موجود في خريطة الموقع» أو «عنوان URL هذا غير موجود في خريطة الموقع». وقد تعرض قائمة المهام «لم يُعثر على خريطة موقع»، و«خريطة الموقع تذكر صفحة واحدة عليها noindex»، ومهمة تعدّ عناوين خريطة الموقع التي لا ترد بالرمز 200. ومع جولة الموقع تكشف مهمة مثل «صفحة واحدة بلا أي رابط داخلي» الصفحات التي لا يشير إليها شيء.

الفحص 7: هل أخذ Google وقتًا كافيًا؟

لا يحدد Google موعدًا. تقول مساعدة إعادة الزحف لديه: «Crawling can take anywhere from a few days to a few weeks»، أي قد يستغرق الزحف من بضعة أيام إلى بضعة أسابيع. وتضيف مساعدة تقرير فهرسة الصفحات أن بدء Google بالزحف إلى صفحة أو موقع جديد وفهرسته قد يستغرق أسبوعًا أو نحوه، وأن الفهرسة ليست فورية أبدًا حتى لو أرسلت طلب زحف مباشرة، وأن Google لا يضمن دخول كل الصفحات إلى فهرسه.

وفي Search Console حالتا انتظار. «Discovered – currently not indexed» تعني أن Google وجد الصفحة لكنه لم يزحف إليها بعد، وغالبًا لأنه توقع أن الزحف سيرهق الموقع. و«Crawled – currently not indexed» تعني أن Google جلب الصفحة ولم يضفها إلى الفهرس. ويصف Google هذه الرسالة بأنها «a common message for many sites» أي رسالة شائعة في مواقع كثيرة، و«doesn't necessarily indicate an issue that needs attention» أي لا تدل بالضرورة على مشكلة تستحق الانتباه، وينصح ألا تتوقع فهرسة كل عنوان في الموقع.

كيف تتعرف عليه: استبعدت الفحوص من 1 إلى 6، والصفحة عمرها أيام أو أسابيع قليلة فقط.

الحل: انتظر، وبعد أيام عد إلى العناوين نفسها، لا كل ساعة. وإذا كانت الصفحة أقدم بكثير وما زالت في «Crawled – currently not indexed» فلا يذكر Google سببًا آخر. وهذا رأينا لا رأي Google: انظر هل تقول الصفحة شيئًا لا تقوله صفحاتك الأخرى، وهل تربط بها صفحات مهمة.

في SEOgrinder: لا يستطيع الفحص أن يقرأ ساعة Google. وفي تثبيت محلي مربوط بـ Search Console يمكنه أن يسأل أداة فحص عنوان URL عن الصفحة المفحوصة ويعرض في التقرير جواب Google المخزّن، مثل «لا يعرف Google هذا العنوان بعد». أما النسخة على seogrinder.com فغير مربوطة بحسابك في Search Console.

ما الذي يستطيع الفحص قوله وما لا يستطيع

SEOgrinder أداتنا ونحن من يبنيها. الفحص من الخارج يقرأ ما تقوله صفحتك وكيف يرد خادمك: رمز الحالة، وnoindex، وrobots.txt، وسلوك الخادم مع Soft 404، وHTML المرسَل، وخريطة الموقع. ولا يرى فهرس Google، ولا يستطيع أن يقول لك لماذا زحف Google إلى صفحة ثم تركها خارج الفهرس. وسؤال الفهرس يجيب عنه Search Console والبحث عن العنوان الدقيق. والتقرير الأخضر لا يعد بأن الصفحة ستظهر ولا بمكانها، ولا أحد يستطيع ذلك.

الأخطاء الشائعة

• الحكم من بحث واحد. تختلف النتائج بين شخص وآخر وبين مكان وآخر. ابحث عن العنوان الدقيق أو استخدم أداة فحص عنوان URL.
• الحجب في robots.txt مع إضافة noindex. عندها لا يرى Google القاعدة noindex أبدًا. استعمل أداة واحدة لكل هدف.
• إزالة noindex من مكان واحد فقط. قد توجد في إعداد إضافة، وفي وسم meta، وفي ترويسة HTTP معًا.
• طلب الفهرسة مرة بعد مرة. هذا لا يسرّع شيئًا.
• التوقف عند أول نتيجة. قد ينطبق على الصفحة الواحدة أكثر من سبب، فمرّ على الفحوص السبعة كلها.

الأسئلة الشائعة

لماذا لا يظهر موقعي الجديد في جوجل؟

من الأسباب المحتملة أن Google لم يزحف إليه بعد، وقد يستغرق ذلك أسبوعًا أو نحوه. أرسل خريطة موقع، واطلب فهرسة الصفحة الرئيسية، وأجرِ الفحوص السبعة.

لماذا يقول Search Console ‏«URL is on Google»‏ وأنا لا أجد الصفحة؟

تعني «URL is on Google» أن الصفحة مؤهلة للظهور، لا أنها تظهر في كل بحث. ابحث عن العنوان الدقيق. فإذا ظهر فالفهرسة سليمة والمسألة مسألة ترتيب.

كانت صفحتي في Google ثم اختفت. أي فحص ينطبق؟

ابدأ بالفحوص من 1 إلى 3. يزيل Google العناوين المفهرسة التي ترد برمز 4xx، ويقول إن انخفاض عدد الصفحات المفهرسة من دون ارتفاع مقابل في الأخطاء قد يعني أنك تحجب صفحات قائمة عبر robots.txt أو noindex أو تسجيل الدخول. وابحث كذلك عن طلب إزالة.

خطوتك التالية

أدخل عنوان الصفحة الغائبة في الفحص المجاني من SEOgrinder. اقرأ بطاقة «الفهرسة» في تبويب «الصفحة في Google»، وأصلح كل سطر أحمر؛ وقائمة المهام تُظهر ما يبدأ به العمل. اضغط «إعادة التحقق» بعد تغييرك، فقد تبقى التقارير في الذاكرة المؤقتة حتى 24 ساعة. ثم أرسل خريطة الموقع وامنح Google وقته. وللنظر فيما يتجاوز الفهرسة استعن بـقائمة تدقيق SEO.

اقرأ أيضًا

• فهرسة صفحة في جوجل: 5 خطوات اختبرناها على موقع جديد