ملف robots.txt لزواحف الذكاء الاصطناعي: السماح أو حظر GPTBot وClaudeBot وPerplexityBot

بقلم SEOgrinder · تاريخ النشر 4 نوفمبر 2026 · 7 دقيقة قراءة

الإجابة المختصرة: ملف robots.txt لزواحف الذكاء الاصطناعي يحدد، روبوتا بعد روبوت، هل يجوز لنظام ذكاء اصطناعي أن يقرأ موقعك. هناك ثلاثة أنواع من الروبوتات: روبوتات التدريب (GPTBot وClaudeBot)، وروبوتات البحث (OAI-SearchBot وClaude-SearchBot وPerplexityBot)، وروبوتات تجلب الصفحة لأن مستخدما طلب ذلك (ChatGPT-User وClaude-User). إن أردت أن يستشهد بموقعك في إجابات البحث بالذكاء الاصطناعي فاسمح لروبوتات البحث، أما السماح بالتدريب فقرارك أنت. ملف صغير واحد يتولى ذلك كله، لكن خطأ صغيرا واحدا في بنائه يجعل القواعد بلا أثر.

لماذا ملف robots.txt لزواحف الذكاء الاصطناعي أكثر من قاعدة واحدة؟

كان السطر User-agent: *‎ كافيا فيما مضى. أما مع زواحف الذكاء الاصطناعي (AI crawlers) فهو فضفاض أكثر مما ينبغي، لأن الشركة الواحدة تشغل روبوتات مختلفة لمهام مختلفة. وتقول OpenAI ذلك بنفسها: كل إعداد مستقل عن الإعدادات الأخرى. فيمكنك أن تسمح لـ OAI-SearchBot كي يظهر موقعك في نتائج البحث داخل ChatGPT، وأن تحظر GPTBot كي لا يكون محتواك مخصصا لتدريب النماذج الأساسية لدى OpenAI (OpenAI).

وهذا يعني أن من يحظر GPTBot وحده أملا في أن يختفي من ChatGPT سيحصل على نتيجة غير التي توقعها. ومن يحظر كل شيء احتياطا يغلق الباب أيضا أمام الروبوتات التي يمكن أن تذكر موقعه في الإجابات.

أنواع زواحف الذكاء الاصطناعي الثلاثة

النوع	الروبوتات	ماذا يحدث إن حظرتها
التدريب	GPTBot (OpenAI)، ClaudeBot (Anthropic)، Google-Extended (Google)	تشير إلى أنك لا تريد استخدام محتواك في التدريب. بحث Google لا يتأثر
البحث	OAI-SearchBot (OpenAI)، Claude-SearchBot (Anthropic)، PerplexityBot (Perplexity)	لا يظهر موقعك، أو يظهر بدرجة أقل، في إجابات البحث لدى تلك الخدمة
بطلب من المستخدم	ChatGPT-User (OpenAI)، Claude-User (Anthropic)	لدى OpenAI قد لا تنطبق قواعد robots.txt هنا لأن إنسانا هو من طلب الجلب. وتقول Anthropic إنك تستطيع التحكم في Claude-User، وإن حظره قد يقلل الظهور في البحث الموجه من المستخدم

ما تكتبه الجهات المشغلة نفسها، باختصار:

OpenAI: المواقع التي تستبعد OAI-SearchBot لا تظهر في إجابات البحث داخل ChatGPT، لكنها قد تظهر مع ذلك كروابط تنقل. وبعد تغيير ملف robots.txt يستغرق الأمر نحو 24 ساعة حتى تتكيف الأنظمة.
Anthropic: إذا قيدت ClaudeBot فهذه إشارة إلى أن المواد المستقبلية ينبغي أن تستبعد من مجموعات بيانات التدريب. وإذا عطلت Claude-SearchBot أو Claude-User فقد ينخفض ظهورك في نتائج البحث. وتلتزم Anthropic بملف robots.txt ولا تتجاوز اختبارات CAPTCHA، وتدعم السطر غير القياسي Crawl-delay (Anthropic).
Perplexity: الغرض من PerplexityBot هو إظهار المواقع وربطها في نتائج البحث داخل Perplexity. وهو ليس مخصصا لجمع المحتوى من أجل النماذج الأساسية، وتوصي Perplexity بالسماح له (Perplexity).
Google: ليس Google-Extended روبوتا مستقلا، بل رمزا (token) في ملف robots.txt. وهو يحدد هل يجوز استخدام المحتوى الذي يزحف إليه Google في تدريب نماذج Gemini المقبلة وفي إسناد الإجابات إلى مصادر (grounding). ولا يؤثر في إدراج الموقع في بحث Google، وليس إشارة ترتيب (Google).

الجهات المشغلة تغير قوائمها من وقت لآخر، فراجع هذه الصفحات قبل أن تنسخ أي قاعدة.

ثلاثة أمثلة يمكنك تعديلها

1. السماح بكل شيء مع إبقاء الواجهة البرمجية الداخلية مغلقة. هذا ما يفعله موقع seogrinder.com نفسه: مجموعة واحدة فيها عدة أسطر User-agent فوق مجموعة قواعد واحدة.

User-agent: *
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Disallow: /api/
Allow: /

Sitemap: https://www.example.com/sitemap.xml

2. السماح بالبحث ورفض التدريب.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

هذا اختيار يعود إلى صاحب الموقع وليس توصية. فإن كنت تريد أن يستخدم محتواك على أوسع نطاق ممكن فخذ المثال الأول. وانتبه إلى أن Google-Extended يشمل أيضا إسناد الإجابات (grounding) في تطبيقات Gemini وعلى Vertex AI، لا التدريب وحده. وهو لا يؤثر في بحث Google ولا في «النظرة العامة بالذكاء الاصطناعي» (AI Overviews).

3. رفض جميع روبوتات الذكاء الاصطناعي. ضع سطر الحظر الشامل Disallow: /‎ تحت كل روبوت مذكور أعلاه. عندئذ سيقل ظهورك في إجابات البحث داخل ChatGPT وClaude وPerplexity أو ينقطع تماما (وتبقى روابط التنقل وعمليات الجلب بطلب المستخدم ممكنة). أما «النظرة العامة بالذكاء الاصطناعي» لدى Google فيجري التحكم فيها عبر Googlebot لا عبر هذه المعرفات. ولا يناسب هذا الخيار إلا من يريده فعلا.

الفخ: المجموعة الخاصة بروبوت ما تحل محل مجموعة `*` العامة

وفق RFC 9309 يتبع الزاحف المجموعة التي تطابق اسمه. فإن كانت له مجموعة خاصة به فلا تنطبق عليه المجموعة العامة التي تبدأ بعلامة النجمة (RFC 9309).

مثال: تضع تحت السطر User-agent: *‎ القاعدة Disallow: /internal/‎. ثم تضيف لاحقا مجموعة خاصة بـ GPTBot لا تحتوي إلا على Allow: /‎. عندئذ لم يعد المجلد الداخلي محظورا على GPTBot. كرر القواعد في كل مجموعة، أو ضع عدة أسطر User-agent فوق مجموعة القواعد نفسها كما في الأمثلة أعلاه.

وثمة قاعدتان أخريان من المواصفة نفسها تفيدان عند التعارض: تسري القاعدة الأكثر تحديدا (المسار الأطول)، وإذا تساوى طول Allow وDisallow فتسري Allow.

Content-Signal: سطر اختياري يصرح بكيفية استخدام محتواك

إلى جانب السماح والحظر، هناك سطر اختياري أطلقته Cloudflare في سبتمبر 2025. وهو يصرح بما يجوز أن يستخدم محتواك فيه:

Content-Signal: search=yes, ai-input=yes, ai-train=no

الإشارة search تخص فهارس البحث والمقتطفات (snippets)، وai-input تخص استخدام المحتوى مباشرة في إجابات الذكاء الاصطناعي، وai-train تخص التدريب. وهذا تصريح وليس قفلا: الالتزام به طوعي. وتقول Cloudflare إن هذه الإشارات تعبر عن تفضيلات وليست إجراءات تقنية مضادة، وإن بعض الشركات قد تتجاهلها ببساطة (Cloudflare).

ويجري العمل كذلك على معايير جديدة. فوثائق الزواحف لدى Google تذكر أنها تعتزم دعم إشارة AIPREF المشتركة المقروءة آليا لتفضيلات التدريب في مطلع عام 2027، وصيغتها هكذا user-agent: __usage_ai-training (Google). وإلى ذلك الحين يبقى Google-Extended هو المفتاح الذي يتحكم في تدريب Gemini وإسناد إجاباته.

ملف robots.txt ليس وسيلة حماية

تقولها المواصفة بوضوح: هذا البروتوكول لا يغني عن إجراءات الأمان الحقيقية، والمسارات المذكورة في ملف robots.txt ظاهرة للجميع. والروبوت الذي يتجاهل القواعد لا يوقفه ملفك. أما المحتوى الذي لا يجوز أن يكون عاما فيلزمه تسجيل دخول أو قواعد في جدار الحماية (firewall). وتحذر Anthropic أيضا من أن الحظر بعنوان IP قد لا يصلح وسيلة للانسحاب، لأنه يمنع الروبوت أصلا من قراءة ملف robots.txt لديك.

كيف تفحص ملف robots.txt لزواحف الذكاء الاصطناعي

افتح العنوان https://example.com/robots.txt في المتصفح مستبدلا نطاقك بنطاق المثال. لكل نطاق فرعي ملفه الخاص.
افتح SEOgrinder وأدخل عنوان موقعك وابدأ التحليل. لا تحتاج إلى حساب.
انتقل إلى تبويب الجاهزية للذكاء الاصطناعي وابحث تحت «فحوص لوكلاء الذكاء الاصطناعي» عن البند «توجيه روبوتات الذكاء الاصطناعي». إن كان البند متحققا فسيذكر السطر كم زاحفا للذكاء الاصطناعي تحكمه قواعد، وكم منها مسموح وكم منها محظور. وإن كان مفتوحا فهذا يعني أن الأداة لم تعثر على قاعدة صريحة للتدريب والبحث.
يمكن فتح البند المتحقق لعرض النص الذي تم العثور عليه في ملفك.
اضغط نسخ موجّه الوكيل والصقه في مساعد البرمجة لديك. إذا كانت هناك قاعدة ناقصة فإن الموجه يصف ما ينبغي إضافته، وإذا كانت موجودة فهو يطلب من المساعد مراجعتها وتغيير ما هو خاطئ فقط. أما السماح أو الحظر فيبقى قرار صاحب الموقع.
بعد التعديل اضغط إعادة التحقق. تبقى التقارير محفوظة مؤقتا حتى 24 ساعة، وهذا الزر يفرض فحصا جديدا (بضع مرات في الساعة).

وتوقع أن يمر نحو يوم قبل أن تطبق أنظمة OpenAI وPerplexity القواعد الجديدة.

كيف تميز الزيارات الحقيقية: السجلات ونطاقات IP

يظهر في سجلات الخادم (server logs) هل يزور روبوت ما موقعك فعلا، وذلك من خلال وكيل المستخدم (user agent). ولأن أي جهة تستطيع أن تنتحل اسم GPTBot، تنشر الجهات المشغلة نطاقات عناوين IP للمقارنة: فتنشرها OpenAI لكل روبوت في ملف JSON، مثل openai.com/gptbot.json، وتحيل Anthropic إلى قائمة خاصة بها. فإذا لم تأت الزيارة من هذه النطاقات فالأرجح أنها ليست من تلك الجهة، حتى لو طابق الاسم. وهذا مفيد إذا أردت تحليل الزيارات أو اصطياد الروبوتات المزيفة في جدار الحماية. لكن تذكر تحذير Anthropic: لا تحظر الروبوتات الحقيقية بعناوين IP الخاصة بها، وإلا لم تعد قادرة على قراءة ملف robots.txt لديك.

الأخطاء الشائعة

ترك الحظر الشامل قائما للجميع. ينتقل موقع تجريبي إلى الإنترنت العام ويبقى فيه حظر بيئة الاختبار داخل ملف robots.txt. تحقق من هذا عند كل إطلاق.
حظر GPTBot وحده للخروج من ChatGPT. هذا يضبط التدريب لا البحث.
سطر فارغ داخل المجموعة. بعض المحللات (parsers)، مثل robotparser في Python، تهمل عندئذ الأسماء الواقعة فوقه. أبق أسطر User-agent متجاورة مباشرة.
سطر Sitemap بعنوان نسبي. اكتب العنوان الكامل الذي يبدأ بـ https.
الملف في مكان خاطئ. يجب أن يكون في جذر الموقع، أي example.com/robots.txt، لا في مجلد فرعي.
توقع الكثير من Content-Signal وllms.txt. كلاهما اختياري، وأثرهما في الترتيب أو الاستشهاد غير مثبت.

الأسئلة الشائعة

هل أسمح لزواحف الذكاء الاصطناعي بزيارة موقعي؟

يتوقف ذلك على هدفك. إن أردت أن يستشهد بموقعك في إجابات البحث بالذكاء الاصطناعي فاسمح لروبوتات البحث. أما السماح بالتدريب أو رفضه فقرار تجاري، ويمكنك ضبط كل منهما على حدة.

هل سأختفي من Google إن حظرت Google-Extended؟

لا. تقول Google إن Google-Extended لا يؤثر في إدراج الموقع في بحث Google وليس إشارة ترتيب.

ما سرعة أثر التغيير؟

تذكر OpenAI وPerplexity كلتاهما مدة تصل إلى نحو 24 ساعة بعد تغيير ملف robots.txt.

هل llms.txt هو نفسه robots.txt؟

لا. ملف robots.txt يتحكم في الوصول. أما llms.txt فملف مقترح يتضمن ملخصا لموقعك موجها إلى النماذج اللغوية. وبحسب تقارير من مصادر ثانوية لا تدعمه Google (Search Engine Roundtable). وأثره غير مثبت. وللتفصيل اقرأ مقالنا ملف llms.txt: ما هو وكيف تنشئه وهل يفيد فعلا.

هل أستطيع وضع قواعد مختلفة لمجلدات مختلفة؟

نعم. داخل المجموعة الواحدة تحدد Disallow وAllow لكل مسار. وتفوز القاعدة الأكثر تحديدا.

خطوتك التالية

افتح ملف robots.txt لديك وتأكد من أنك لم تحظر روبوتات البحث دون قصد. ثم شغل الفحص المجاني وانظر هل البند «توجيه روبوتات الذكاء الاصطناعي» متحقق ضمن تبويب «الجاهزية للذكاء الاصطناعي»، أي أن للتدريب وللبحث قاعدة صريحة لكل منهما. أما هل تسمح القاعدة أم تحظر فتجده في نتيجة الفحص.