تم الزحف إلى الصفحة لم تتم فهرستها حاليًا: ماذا تعني وماذا تفعل

الجواب المختصر: تعني «تم الزحف إلى الصفحة لم تتم فهرستها حاليًا» (Crawled – currently not indexed) أن Google جلب الصفحة ولم يضفها إلى فهرسه. يصف Google هذه الرسالة بأنها شائعة في مواقع كثيرة ولا تدل بالضرورة على مشكلة تستحق الانتباه، فالسؤال الأول هو هل الصفحة مهمة. فإن كانت مهمة فاستبعد العوائق، وقارنها بصفحاتك المفهرسة، وانتظر ثم أعد النظر؛ فلا يوجد زر يُجبر على الفهرسة، ولا يذكر Google سببًا لهذه الحالة.

ماذا تعني «تم الزحف إلى الصفحة لم تتم فهرستها حاليًا»؟

يصنّف تقرير فهرسة الصفحات (Page indexing) في Search Console كل عنوان يعرفه Google في «Indexed» و«Not indexed». وفي جدول أسباب عدم الفهرسة («Why pages aren’t indexed») تحمل هذه الحالة وصف Google نفسه: «The page was crawled by Google but not indexed». ونسمّيها هنا بالعربية «تم الزحف إلى الصفحة لم تتم فهرستها حاليًا»، وهذا تعريبنا للحالة المسماة «Crawled – currently not indexed» في الواجهة الإنجليزية. تجد النص الكامل في مساعدة تقرير فهرسة الصفحات. وله نصفان:

• تم الزحف (Crawled): طلب Google الصفحة واستلمها.
• لم تتم فهرستها (Not indexed): لم يخزنها Google في فهرسه، فلا يمكن أن تظهر في نتائج البحث.

وفي عنوان واحد تقول أداة «فحص عنوان URL»‏ (URL Inspection) ‏«URL is not on Google»‏ وتذكر السبب في قسم Page indexing.

وصف Google قصير. يقول إن الرسالة شائعة، ولا يذكر عقوبة، ولا يعطي سببًا. ويثبّت دليل Google عن ميزانية الزحف القاعدة العامة: ليست كل صفحة يُزحف إليها تُفهرس بالضرورة («not every page that is crawled will necessarily be indexed»). فبعد الزحف يجب أن تُقيَّم كل صفحة وتُدمج ويُحكم على صلاحيتها للفهرس («evaluated, consolidated, and assessed»). وعند أي من هذه الخطوات توقفت صفحتك لا يقوله Google.

هل الصفحة مهمة؟ قرّر قبل أن تصلح أي شيء

مساعدة التقرير صريحة: لا تتوقع فهرسة كل عنوان في موقعك، فقد تكون بعض العناوين مكررة أو لا تحتوي على معلومات ذات معنى («Don't expect every URL on your site to be indexed. Some URLs might be duplicates or might not contain meaningful information»). فلا يلزم أن يكون كل عنوان في الفهرس؛ المهم هو الصفحات المهمة. لذا صنّف عناوينك أولًا:

ويضيف Google أن موقعًا فيه أقل من 500 صفحة ربما لا يحتاج إلى التقرير أصلًا. والبحث عن ‎site:‎ متبوعة بالعنوان الدقيق، مثل site:https://your-site.example/your-page، يخبرك هل صفحة مهمة مفهرسة.

تم الزحف إلى الصفحة لم تتم فهرستها حاليًا: خمسة فحوص لصفحة مهمة

لا يذكر Google سببًا لهذه الحالة، فتستند الفحوص إلى ما يوثقه Google وإلى رأينا نحن. ونميّز النوع الثاني.

1. اقرأ النتيجة المخزّنة، ثم شغّل الاختبار المباشر. اقرأ في أداة فحص عنوان URL قسم Page indexing. إنه لقطة: تقول مساعدة فحص عنوان URL إن هذا ليس اختبارًا مباشرًا («This is not a live test») وإن الصفحة قد تكون تغيّرت أو صارت غير متاحة منذ آخر مرة رآها Google («may have changed or become unavailable since Google last saw it»). ثم اختر «اختبار عنوان URL المباشر» («Test live URL») وافتح «عرض الصفحة التي تم اختبارها» («View tested page») لترى كيف يصيّر Google الصفحة. وإذا أظهر الاختبار المباشر خطأً أو صفحة فارغة فأصلح ذلك أولًا. لكن الاختبار المباشر النظيف ليس حكمًا نهائيًا: يقول Google إنه لا يختبر كل مشكلات الفهرسة الممكنة، ومنها هل الصفحة مكررة أو بديلة («does not test for all possible indexing issues»).
2. استبعد العوائق على أي حال. تسرد المتطلبات التقنية لدى Google ثلاثة: ألا يكون Googlebot محجوبًا، وأن ترد الصفحة بـ HTTP 200، وأن يكون فيها محتوى قابل للفهرسة. واستيفاؤها لا يعني أن الصفحة ستُفهرس: «indexing isn't guaranteed». ويبلّغ Search Console عن وسم noindex وحجب robots.txt وSoft 404 وإعادة التوجيه تحت حالات خاصة بها، وقراءتنا أنها ليست عادةً وراء هذه الحالة. فافحصها مع ذلك، لأن الحالة المخزنة قد تكون أقدم من آخر تغيير أجريته. وللنظرة السريعة أمران في أسفل القائمة.
3. قارن الصفحة بصفحاتك المفهرسة. يقول Google إنه لا يفهرس نسخًا مكررة من صفحة، وإن بعض العناوين قد لا تحتوي معلومات ذات معنى («might not contain meaningful information»). رأينا لا رأي Google: ضع الصفحة بجانب الصفحة المفهرسة في الموضوع نفسه واسأل ماذا تضيف. فإذا كانت صفحتان تجيبان عن السؤال نفسه فادمجهما ووجّه العنوان الأضعف إلى الأقوى بإعادة توجيه 301. وإذا كانت الصفحة لا تزيد كثيرًا على عنوان وقالب فامنحها محتوى حقيقيًا أو اقبل أن تبقى خارجًا.
4. اربط بها من صفحات مفهرسة ذات صلة. رأينا: الصفحة التي لا تتعلق إلا بخريطة الموقع، أو التي تبعد عدة نقرات، لا تدل كثيرًا على أنك تعدّها مهمة. اربط بها من صفحات مفهرسة في موضوعات مجاورة، بما يناسب النص.
5. انتظر، ثم انظر في العنوان نفسه من جديد. لا يذكر Google مدة لهذه الحالة. وتتعلق أقواله العامة بالزحف: قد يستغرق الأمر أسبوعًا أو نحوه لصفحة أو موقع جديد («It can take a week or so»)، والفهرسة ليست فورية أبدًا («is never instant»). قراءتنا: أعد النظر بعد عدة أيام لا كل ساعة. وتنصح مساعدة Google بطلب إعادة زحف بعد تغيير مهم فقط لم يلاحظه Google منذ أسبوع أو أكثر («a week or more»). ويجب أن تكون مالكًا أو مستخدمًا كاملًا للموقع (Property)، وهناك حصة.

للفحص 2: يطبع هذا الأمر رمز الحالة والعنوان النهائي بعد إعادة التوجيه، ويطبع الثاني ترويسة X-Robots-Tag إن وجدت. المطلوب 200 ولا سطر ترويسة:

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://your-site.example/your-page
curl -s -D - -o /dev/null https://your-site.example/your-page | grep -i x-robots-tag

الحالة المجاورة: Discovered – currently not indexed

الحالتان متجاورتان في التقرير:

وفي «Discovered» يذكر Google سببًا نموذجيًا: كان يريد الزحف إلى العنوان لكن ذلك كان متوقعًا أن يرهق الموقع («expected to overload the site»)، فأعاد جدولة الزحف. ويدرج دليل ميزانية الزحف المواقع التي يحمل «جزء كبير» («a large portion») من عناوينها هذه الحالة بين المواقع التي كُتب لها. وهذه مواقع كبيرة: مليون صفحة فريدة أو أكثر تتغير بوتيرة معتدلة (نحو أسبوعيًا)، أو 10,000 أو أكثر ذات محتوى سريع التغير يتحدث يوميًا. ويسمي Google الأرقام تقديرًا تقريبيًا («a rough estimate») لا عتبات دقيقة. وللموقع الذي ليس فيه عدد كبير من الصفحات سريعة التغير يقول الدليل إن إبقاء خريطة الموقع محدّثة ومراجعة تقرير فهرسة الصفحات بانتظام «is adequate» أي كافٍ.

وما تستطيع فعله في موقع كهذا محدود. أبقِ الخادم سريعًا ومستقرًا: يخفض Google حد الزحف حين يبطؤ الموقع أو يرد بأخطاء الخادم (5xx) أو بتقييد المعدل (429). أبقِ خريطة الموقع محدّثة، ثم انتظر. لم يجلب Google هذه الصفحات بعد، فالحالة لا تقول شيئًا عن محتواها.

ما الذي يعرضه SEOgrinder وما لا يستطيعه

SEOgrinder أداتنا ونحن من يبنيها. وبشأن هذه الحالة:

• الفحص المجاني على seogrinder.com لا يستطيع قراءة تقرير فهرسة الصفحات لديك. فهو لا يتصل بحسابك في Search Console. ويقبل تبويب «بحث Google» ملف تصدير لتقرير الأداء (الاستعلامات والصفحات والنقرات والظهور). وحالات الفهرسة ليست في هذه البيانات.
• تثبيت محلي مربوط بـ Search Console يستطيع أن يسأل أداة فحص عنوان URL عن الصفحة المفحوصة ويعرض جواب Google بكلماته، في صورة النتيجة «Google لا يحتفظ بهذه الصفحة في فهرسه». وتكون مهمة إذا كان يُفترض أن تُكتشف الصفحة (فهي في خريطة موقعك، أو هي الصفحة الرئيسية، أو أظهر Search Console ظهورًا لها). وإلا فتظهر تحت «للعلم».
• فحوص قرب الأسباب التي يلمّح إليها Google. تعرض بطاقة «الفهرسة» في تبويب «الصفحة في Google» هل يمكن فهرسة الصفحة وهل يمكن زحف العنوان. وتسرد جولة الموقع أزواج الصفحات المتطابقة تقريبًا، والصفحات ذات النص القليل، والصفحات التي لا يشير إليها أي رابط داخلي. وهذه خصائص صفحاتك. أما هل تركها Google خارج الفهرس بسبب إحداها فلا يستطيع SEOgrinder أن يقوله، ولا يقوله Google.

الأخطاء الشائعة

• مطاردة التقرير حتى يصير صفرًا. يكتب Google أن العناوين غير المفهرسة قد تكون على ما يرام («non-indexed URLs can be fine»). لا يلزم أن يكون في الفهرس إلا الصفحات المهمة.
• طلب الفهرسة مرة بعد مرة. تقول صفحة Google عن طلبات إعادة الزحف إن من يطلب العنوان نفسه مرارًا لا يجعل زحفه أسرع («won't get it crawled any faster»)، وإن الطلب لا يضمن أن يتم الإدراج في نتائج البحث فورًا أو أصلًا. وقد زُحف إلى الصفحة فعلًا؛ هي تحتاج إلى سبب ليُحكم عليها حكمًا مختلفًا لا إلى تكرار الطلب.
• بدء «Validate fix» لحالة لا إصلاح لها. تقول مساعدة Google إن التحقق ينتهي بـ «Failed» حين يجد Google حالة متبقية واحدة من المشكلة، وإنه قد لا يكون من المنطقي دائمًا إصلاح مشكلة بعينها والتحقق منها («might not always make sense»). قراءتنا: لا يذكر Google لهذه الحالة شيئًا يُصلَح، فالعناوين التي ما زالت تحملها تجعل فشل التحقق نتيجة متوقعة.
• تغيير التاريخ لتبدو الصفحة حديثة. تعدّ صفحة Google عن المحتوى المفيد تغيير تواريخ الصفحات لتبدو حديثة، حين لم يتغير المحتوى جوهريًا، من علامات التحذير.
• إرسال صفحة واحدة إلى نموذج مشكلات الفهرسة. لا يحيل Google إلى النموذج إلا عند مشكلة كاملة تشمل الموقع كله في الفهرسة، بعد أن تكون شخّصت المشكلات المحتملة تشخيصًا كاملًا.
• إعادة إرسال خريطة الموقع وتوقع تغيير. تساعد خريطة الموقع Google على اكتشاف العناوين، لكن هذه الصفحة اكتُشفت وزُحف إليها فعلًا.

الأسئلة الشائعة

هل «تم الزحف إلى الصفحة لم تتم فهرستها حاليًا» عقوبة؟

لا يذكر وصف Google عقوبة ولا إجراءً يدويًا. يصف الرسالة بأنها شائعة، ويقول إنها لا تشير بالضرورة إلى مشكلة.

لماذا تبقى صفحة أسابيع في هذه الحالة؟

لا يذكر Google لهذه الحالة سببًا ولا جدولًا زمنيًا. يقول إن الفهرسة ليست فورية أبدًا («is never instant»)، وإنه لا يضمن دخول كل الصفحات في كل مكان إلى فهرسه. قراءتنا لا قول Google: الصفحة التي لا تضيف شيئًا إلى ما لدى Google قد تبقى خارجًا.

هل أستطيع إجبار Google على فهرسة الصفحة؟

لا. «Request indexing» تطلب من Google أن يزحف إلى عنوان. وليست أمرًا بإضافته.

لماذا فشل التحقق من هذه الحالة؟

لأن التحقق ينتهي بـ «Failed» بمجرد أن يجد Google عنوانًا ما زال يحمل المشكلة، ولا يذكر Google إصلاحًا لهذه الحالة. فاحكم على كل صفحة مهمة بالفحوص الخمسة أعلاه بدلًا من ذلك.

خطوتك التالية

افتح تقرير فهرسة الصفحات، وانقر على الحالة، واختر العنوانين أو الثلاثة التي تهمك. شغّل الفحص المجاني من SEOgrinder عليها، واقرأ بطاقة «الفهرسة» في تبويب «الصفحة في Google». أصلح ما هو أحمر، واضغط «إعادة التحقق»، ثم حسّن ما تقوله الصفحة مقارنةً بجاراتها المفهرسة، واربط بها من صفحات ذات صلة. وانظر في العناوين نفسها بعد أيام قليلة.

اقرأ أيضًا

• موقعي لا يظهر في جوجل؟ 7 فحوص لمعرفة السبب وإصلاحه
• فهرسة صفحة في جوجل: 5 خطوات اختبرناها على موقع جديد