الظهور في Gemini: اسمان في robots.txt تتحكم فيهما
الجواب المختصر: لا يستطيع أحد أن يعدك بالظهور في Gemini، ولا تصف صفحات Google طريقة تضمن أن يُذكر موقعك هناك. الذي تتحكم فيه اسمان في robots.txt. فـ Googlebot يحكم الزحف لبحث Google، ومنه AI Overviews وAI Mode. وGoogle-Extended يحكم هل يجوز لـ Google أن تستخدم محتواك في تدريب نماذج Gemini المقبلة وفي الـ grounding داخل تطبيقات Gemini. وإبقاؤك الاثنين مفتوحين يزيل العائقين اللذين توثقهما Google، لكنه لا يعد بأي ذكر. وGoogle لا تعدّ المفاتيح؛ فالرقم 2 تجميع منا.
ما توثّقه Google عن الظهور في Gemini
نبدأ بالحدّ. الصفحتان من Google اللتان نعتمد عليهما تصفان أدوات تحكم، ولا تصفان آلية اختيار. فـ قائمة زواحف Google الشائعة تذكر ما يغطيه الرمز Google-Extended. وصفحة AI features and your website تشرح كيف يتعامل AI Overviews وAI Mode في البحث مع صفحاتك. ولا تقول أي منهما كيف يختار Gemini الصفحات التي يستخدمها في إجابة، ولا نعرف مصدرًا من Google يقول ذلك. ولهذا لا يعد هذا المقال بأي ذكر. وهو لا يقول شيئًا كذلك عما قد يعتمد عليه Gemini غير ذلك: فهذا غير موثق هناك، ولا نخمّن.
جلبنا الصفحتين في 4 نوفمبر 2026. وتحمل قائمة الزواحف عبارة «Last updated 2026-10-30»، وصفحة ميزات الذكاء الاصطناعي «Last updated 2025-12-10». وكل ما نقوله عن Google مصدره هاتان الصفحتان، ونبيّن قراءاتنا نحن.
وهناك مصطلح يحتاج إلى شرح بسيط. Grounding تعرّفه صفحة الزواحف بأنه «providing content from the Google Search index to the model at prompt time to improve factuality and relevancy»، أي تزويد النموذج بمحتوى من فهرس بحث Google لحظة السؤال لتحسين الدقة الواقعية والصلة. وخلاصته: حين يسأل أحدهم سؤالًا يمكن أن يُمنح النموذج محتوى من فهرس بحث Google. أما هل تفعل إجابة Gemini بعينها ذلك فليس مذكورًا في الصفحة.
والذي تتحكم فيه اسمان في robots.txt، ومنه العدد اثنان في العنوان («اسمان»). فـ Google لا تعدّ المفاتيح؛ والرقم تجميعنا نحن للأسماء التي تعطيك إياها صفحاتها. وأدوات التحكم في المعاينة nosnippet وdata-nosnippet وmax-snippet وnoindex نوع آخر من الأدوات، ونضعها تحت المفتاح 1.
المفتاح 1: Googlebot، الباب إلى بحث Google وميزاته المعتمدة على الذكاء الاصطناعي
بحسب صفحة ميزات الذكاء الاصطناعي، الذكاء الاصطناعي مبني داخل البحث، ولهذا فإن «robots.txt directives for Googlebot is the control»، أي إن توجيهات robots.txt الخاصة بـ Googlebot هي أداة التحكم في كيفية الزحف إلى موقعك للبحث. وتضيف قائمة الزواحف أن تفضيلات الزحف للرمز Googlebot «affect Google Search (including Discover and all Google Search features)»، أي تؤثر في بحث Google (بما فيه Discover وجميع ميزات بحث Google)، إضافة إلى منتجات أخرى مثل صور Google وأخبار Google.
ولا باب خاص لـ AI Overviews وAI Mode. فلكي تتأهل الصفحة رابطًا داعمًا، تقول Google، يجب أن تكون «indexed and eligible to be shown in Google Search with a snippet»، أي مفهرسة ومؤهلة للظهور في بحث Google مع snippet، ولا توجد متطلبات تقنية إضافية. ويمرّ مقالنا عن AI Overviews وAI Mode على تلك الصفحة.
ولماذا يهم هذا المفتاح في Gemini؟ قراءتنا، لا قول Google: الـ grounding يعتمد على فهرس البحث، فالصفحة التي لا يستطيع Googlebot الزحف إليها ليس عندها ما تقدمه لذلك الفهرس. ولهذا ينبغي أن تفحص Googlebot أولًا، قبل أي شيء يحمل اسم Gemini.
ما يضبط هذا المفتاح: أدوات التحكم في المعاينة. لتحدّ مما يعرضه البحث من صفحاتك تذكر Google nosnippet وdata-nosnippet وmax-snippet وnoindex. وهي تحدّ ما يعرضه البحث من الصفحة؛ ولا تقرر هل يجوز لـ Googlebot أن يزحف إليها. ولاختبارها تحيل الصفحة إلى أداة فحص عنوان URL (URL Inspection) في Search Console، وهي تعرض HTML الذي تلقاه Googlebot أثناء الزحف إلى الصفحة.
المفتاح 2: Google-Extended، مفتاح تدريب Gemini والـ grounding
تصف Google الرمز Google-Extended بأنه رمز منتج قائم بذاته (standalone product token) يدير به الناشرون هل يجوز استخدام المحتوى الذي تزحف إليه Google من مواقعهم في أمرين: تدريب الأجيال المقبلة من نماذج Gemini التي تشغّل تطبيقات Gemini وواجهة Vertex AI API لـ Gemini، والـ grounding في تطبيقات Gemini وفي Grounding with Google Search على Vertex AI.
وثلاث تفاصيل من الصفحة:
- هو رمز لا روبوت. ليس لـ Google-Extended سلسلة وكيل مستخدم (user agent) خاصة في HTTP. فالزحف يتم بسلاسل وكيل المستخدم الحالية لدى Google، ولا يعمل الرمز في robots.txt إلا أداة تحكم. قراءتنا: لا يحمل أي طلب في سجل خادمك الاسم Google-Extended، فابحث في robots.txt لا في السجل.
- لا يمس البحث. «Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search»، أي لا يؤثر Google-Extended في إدراج الموقع في بحث Google ولا يُستخدم إشارة ترتيب فيه.
- هو لـ «أنظمة أخرى». لا تحيلك صفحة ميزات الذكاء الاصطناعي إلى Google-Extended إلا لتحدّ «AI training and grounding in some of Google's other systems»، أي التدريب والـ grounding في بعض أنظمة Google الأخرى. وفي ميزات الذكاء الاصطناعي داخل البحث تذكر قواعد Googlebot وأدوات التحكم في المعاينة.
والسماح أو الحظر قرارك أنت، ولا توصي أي من الصفحتين بأحدهما. السماح يعني أن Google قد تستخدم محتواك في هذين الغرضين؛ ولا يعني أن Gemini سيستخدم صفحة أو يذكرها. والحظر يخبر Google ألا تستخدم المحتوى فيهما؛ ولا تصف الصفحة أي أثر آخر.
وتحمل قائمة الزواحف ملاحظة أيضًا: تنوي Google أن تدعم في أوائل 2027 إشارة AIPREF المشتركة المقروءة آليًا لتفضيلات التدريب. وفي الوقت الحاضر Google-Extended هو أداة التحكم التي توثقها تلك الصفحة.
أي مفتاح يتحكم في ماذا
| هدفك | أين تنظر | ما تقوله صفحات Google |
|---|---|---|
| أن تسمح لـ Google بالزحف إلى صفحاتك للبحث وAI Overviews وAI Mode | Googlebot في robots.txt (المفتاح 1) | قواعد Googlebot هي أداة التحكم في الزحف للبحث؛ ويجب أن تكون الصفحة مفهرسة ومؤهلة للظهور مع snippet |
| أن تحدّ مما يعرضه البحث من صفحة | nosnippet وdata-nosnippet وmax-snippet وnoindex (ما يضبط المفتاح 1) | مذكورة لتقييد المعلومات المعروضة في البحث |
| أن تسمح بتدريب نماذج Gemini المقبلة أو ترفضه | Google-Extended في robots.txt (المفتاح 2) | رمز قائم بذاته لا أثر له في الإدراج في البحث |
| أن تسمح بالـ grounding في تطبيقات Gemini أو ترفضه | Google-Extended في robots.txt (المفتاح 2) | الرمز نفسه المستخدم للتدريب |
كيف تضبط المفتاحين في robots.txt
# المفتاح 1: لا مجموعة خاصة بـ Googlebot، فتسري عليه المجموعة "*"
User-agent: *
Disallow: /api/
# المفتاح 2: لـ Google-Extended مجموعة خاصة ترفض كل شيء
User-agent: Google-Extended
Disallow: /هذا المثال قرار لا توصية: فهو يُبقي بحث Google مفتوحًا ويرفض تدريب Gemini والـ grounding. وإن أردت أن يُسمح لـ Google باستخدام محتواك فاحذف مجموعة Google-Extended من الملف؛ فمن دون مجموعة خاصة تتبع المجموعة * بحسب RFC 9309 (ولا تنص صفحة الزواحف لدى Google على هذا صراحةً بالنسبة إلى Google-Extended).
ويحدد RFC 9309 القاعدة الكامنة وراء ذلك: يتبع الزاحف المجموعة التي تطابق اسمه، ولا يتبع المجموعة * إلا عند عدم وجود تطابق. ويترتب على ذلك أمران:
- إن أضفت مجموعة لـ Googlebot فكرر فيها كل قاعدة ما زلت تحتاج إليها. فالمجموعة
* لم تعد تسري عليه. - القاعدة
Disallow: / تحت * تغلق المفتاحين. وهي كثيرًا ما تكون بقية من موقع اختباري. وتسري على Googlebot وGoogle-Extended ما لم تكن لأحدهما مجموعة خاصة.
ويقول المعيار نفسه إن robots.txt «not a substitute for valid content security measures»، أي ليس بديلًا عن إجراءات حماية فعلية للمحتوى. فهو طلب لا قفل.
وملفنا نحن مثال لا توصية. في 4 نوفمبر 2026 جلبنا https://seogrinder.com/robots.txt بأمر curl: مجموعة مشتركة واحدة فيها * وتسعة معرّفات وكلاء للذكاء الاصطناعي، منها Google-Extended، وكل شيء مسموح ما عدا /api/. وليس لـ Googlebot مجموعة خاصة فيتبع *، فالمفتاحان مفتوحان هناك. وهذا قرار صاحب الموقع؛ وقد يختلف قرارك.
ولتفحص ملفك أنت شغّل curl -sS https://example.com/robots.txt وابحث عن Googlebot وGoogle-Extended وأي مجموعة User-agent: *. ثم امنح الأمر وقتًا. تقول Google إن الزحف قد يستغرق «anywhere from several days to several months»، أي من عدة أيام إلى عدة أشهر؛ وتلك الجملة عن أدوات التحكم في المعاينة. أما تغيير في Google-Extended فلا تذكر له قائمة الزواحف مدة، ولذلك لا نذكر مدة.
كيف يساعدك SEOgrinder
SEOgrinder مجاني ولا يحتاج إلى حساب، ونحن من نبنيه. أدخل عنوانًا وابدأ التحليل وافتح التقرير. موضعان يهمانك هنا:
- تبويب الجاهزية للذكاء الاصطناعي، «فحوص لوكلاء الذكاء الاصطناعي»: يعدّ البند «توجيه روبوتات الذكاء الاصطناعي» زواحف الذكاء الاصطناعي التي لها قاعدة صريحة في robots.txt، وكم منها مسموح وكم محظور، ويسمّي المحظورة. وهو يعرف Google-Extended بالاسم ويحسبه زاحف تدريب. ويتحقق البند حين تكون للتدريب وللبحث قاعدة صريحة لكل منهما. أما Googlebot فليس جزءًا من هذا البند.
- تبويب المهام: تظهر النتيجة «ملف robots.txt يحجب عنوان URL هذا» حين تمنع قاعدة Disallow الزاحف Googlebot من الصفحة التي فحصتها، و«الصفحة مستبعدة من Google» حين يكون توجيه noindex مضبوطًا.
اضغط نسخ موجّه الوكيل عند أي بند لتحصل على تعليمات لمساعد البرمجة لديك، واضغط إعادة التحقق بعد أي تغيير. ولا يقرأ SEOgrinder سجل خادمك ولا يقيس هل يذكر Gemini موقعك. هو يفحص الأساس التقني.
الأخطاء الشائعة
- حظر Google-Extended للخروج من AI Overviews. في ميزات الذكاء الاصطناعي داخل البحث تذكر صفحة Google قواعد Googlebot وأدوات التحكم في المعاينة. وتقول إن Google-Extended لا يؤثر في الإدراج في بحث Google.
- البحث عن Google-Extended في سجل الخادم. ليس له سلسلة وكيل مستخدم خاصة.
- مجموعة Googlebot تُسقط قواعدك الأخرى. فالاسم الذي له مجموعة خاصة يتجاهل المجموعة
*. -
Disallow: / من موقع اختباري ما زال في الملف. فهو يغلق المفتاحين دفعة واحدة. - قراءة «مسموح» على أنها «مذكور». السماح يزيل عائقًا ولا يعد بأي ذكر.
- توقع أثر فوري. لا تذكر Google مدة لـ Google-Extended، وتذكر من أيام إلى أشهر لأدوات التحكم في المعاينة.
- اعتبار robots.txt حماية. ويقول المعيار إنه ليس بديلًا عن حماية المحتوى.
الأسئلة الشائعة
هل أستطيع أن أجعل Gemini يذكر موقعي؟
لا. لا يستطيع أحد أن يفرض ذلك، ولا تصف أي من صفحتي Google إعدادًا يسببه. تستطيع أن تزيل العوائق ليجوز لـ Google أن تزحف إلى محتواك وتستخدمه. أما هل تذكره إجابة Gemini فغير موثق.
هل يضر حظر Google-Extended بترتيبي أو يخرجني من AI Overviews؟
تقول Google إن Google-Extended لا يؤثر في إدراج الموقع في بحث Google ولا يُستخدم إشارة ترتيب فيه. وفي AI Overviews وAI Mode تحيل صفحة ميزات الذكاء الاصطناعي إلى قواعد Googlebot وأدوات التحكم في المعاينة.
هل أحتاج إلى llms.txt أو ترميز خاص من أجل Gemini؟
في AI Overviews وAI Mode تقول Google إنك لا تحتاج إلى ملفات جديدة مقروءة آليًا ولا ملفات نصية للذكاء الاصطناعي ولا ترميز، ولا إلى بيانات schema.org منظمة خاصة. وفي تطبيقات Gemini لا تقول تلك الصفحة شيئًا. ولا نعرف مصدرًا يثبت فائدة llms.txt.
هل يبيّن SEOgrinder هل يذكر Gemini موقعي؟
لا. هو يفحص هل يحجب robots.txt الزاحف Googlebot عن الصفحة التي فحصتها، وهل فيه قاعدة لـ Google-Extended. والأدوات التي تتتبع الإشارات تؤدي مهمة أخرى.
خطوتك التالية
افتح robots.txt لديك وابحث عن Googlebot وGoogle-Extended وأي مجموعة User-agent: *. تأكد ألا تحجب قاعدة قديمة Googlebot، وقرر بشأن Google-Extended عن قصد. ثم شغّل الفحص المجاني في SEOgrinder، وافتح تبويبي الجاهزية للذكاء الاصطناعي والمهام، وعالج ما بقي مفتوحًا. ويتناول مقالنا ملف robots.txt لزواحف الذكاء الاصطناعي روبوتات OpenAI وAnthropic وPerplexity.