الاستشهاد بموقعك في Claude: 3 روبوتات من Anthropic وأي منها تسمح به
الإجابة المختصرة: الاستشهاد بموقعك في Claude أمر لا يستطيع أحد أن يضمنه. فصفحة المساعدة لدى Anthropic تسمّي ثلاثة روبوتات وتذكر ما يحدث حين تعطّل كلًّا منها، ولا تصف كيف يختار Claude الصفحات التي يذكرها. والذي تتحكم فيه أنت هو ملف robots.txt. فـ ClaudeBot يجمع محتوى قد يسهم في التدريب، وClaude-User يجلب صفحة حين يسأل أحدهم Claude سؤالًا، وClaude-SearchBot يعمل على جودة نتائج البحث. وبخصوص الأخيرين تقول Anthropic إن تعطيلهما قد يقلل ظهورك في البحث. أما التدريب فقرار مستقل.
ما الذي تتحكم فيه إذا أردت الاستشهاد بموقعك في Claude
ابدأ بالحدّ. هل يذكر Claude صفحةً في إجابة أم لا، فهذا قرار Claude. ومقال المساعدة لدى Anthropic «Does Anthropic crawl data from the web, and how can site owners block the crawler?» يتناول الزحف والانسحاب منه. فهو يقول أي الروبوتات موجودة، ولأي غرض يعمل كل منها، وكيف تقيّده. ولا يقول كيف يختار Claude مصادره، ولا هل يؤدي السماح لروبوت إلى ذكر الموقع، ولا كم يستغرق التغيير. ولا نعرف مصدرًا يثبت أثرًا لإعداد في robots.txt على الاستشهادات، ولذلك لا يعد هذا المقال بشيء من ذلك.
ما تعطيك إياه الصفحة هو تقسيم للمهام. تقول Anthropic إنها تستخدم الروبوتات «to gather data from the public web for model development, to search the web, and to retrieve web content at users’ direction»، أي لجمع البيانات من الويب العام لتطوير النماذج، وللبحث في الويب، ولجلب محتوى الويب بتوجيه من المستخدمين. وتاريخ الصفحة 7 أبريل 2026، وقد جلبناها في 4 نوفمبر 2026. وكل ما نقوله عن Anthropic مصدره هذه الصفحة، وحيث تكون العبارة قراءتنا نحن نبيّن ذلك.
المقروء ليس هو المستشهَد به. فصفحة تستطيع روبوتات Anthropic قراءتها قد تغيب مع ذلك عن إجابة، وصفحة لا تستطيع قراءتها لا تعطيها ما تستخدمه. والقابلية للقراءة هي ما تتحكم فيه. يفحص SEOgrinder هذا الجانب ولا يقيس الاستشهادات؛ ويشرح مقالنا فحص الظهور في الذكاء الاصطناعي الفرق.
روبوتات Anthropic الثلاثة في جدول واحد
| الروبوت | الغرض منه بحسب Anthropic | ما يحدث بحسب Anthropic إذا عطّلته |
|---|---|---|
| ClaudeBot | يجمع محتوى الويب الذي قد يسهم في تدريب نماذجها التوليدية للذكاء الاصطناعي | يشير إلى أن المواد المستقبلية للموقع ينبغي أن تُستبعد من مجموعات بيانات التدريب |
| Claude-User | يدعم مستخدمي Claude: حين يسأل أحدهم Claude سؤالًا قد يدخل إلى المواقع بهذا المعرّف | يمنع Anthropic من جلب محتواك استجابةً لاستعلام مستخدم، وقد يقلل ظهورك في البحث على الويب الموجَّه من المستخدم |
| Claude-SearchBot | يتصفح الويب لتحسين جودة نتائج البحث للمستخدمين، بتحليل المحتوى لجعل إجابات البحث أكثر صلة ودقة | يمنع Anthropic من فهرسة محتواك لتحسين البحث، وقد يقلل ظهورك ودقتك في نتائج بحث المستخدمين |
وتضيف الصفحة نفسها أن روبوتاتها تلتزم بالتوجيهات المعيارية في robots.txt وتحترم التقنيات المانعة للالتفاف، فلا تحاول مثلًا تجاوز اختبارات CAPTCHA. ولا تقدّم أي توصية بالسماح لأي روبوت. هي تصف ما يحدث عند تعطيل روبوت، ويبقى الاختيار لك.
الروبوت 1: ClaudeBot، روبوت التدريب
بحسب الجدول، فإن تقييد ClaudeBot يشير إلى أن موادك المستقبلية ينبغي أن تُستبعد من مجموعات بيانات التدريب لدى Anthropic. والصفحة تتحدث عن مواد مستقبلية، ولا نقرأ فيها أكثر من ذلك.
والمهم هنا ما تسكت عنه الخانة. ففي ClaudeBot تذكر Anthropic الاستبعاد من التدريب ولا تذكر أثرًا في البحث؛ وآثار الظهور واردة في خانتي الروبوتين الآخرين. وهذه قراءتنا لجدول وليست قولًا من Anthropic، لكنها توحي بأن ClaudeBot ليس الإعداد الذي تنظر فيه إن أردت أن تظهر في بحث Claude. أما هل تسمح بالتدريب فقرار تجاري لا يتخذه SEOgrinder عنك.
الروبوت 2: Claude-User، الروبوت الذي يجلب عند الطلب
Claude-User هو الروبوت وراء طلب واحد: شخص يسأل Claude سؤالًا، وقد يفتح Claude موقعًا ليجيب عنه. وتكتب Anthropic «may» أي «قد»، فالسؤال لا يؤدي دائمًا إلى زيارة.
وتقول Anthropic إن Claude-User يتيح لأصحاب المواقع التحكم في المواقع التي يمكن الدخول إليها عبر هذه الطلبات التي يطلقها المستخدمون. ومع قولها إن جميع روبوتاتها تلتزم بـ robots.txt، يعني هذا أن القاعدة في ملفك تسري هنا أيضًا. وجهات أخرى تختلف: تكتب OpenAI عن ChatGPT-User أن «robots.txt rules may not apply» أي قد لا تنطبق قواعد robots.txt (OpenAI). فاقرأ صفحة كل جهة ولا تنقل قاعدة من إحداها إلى الأخرى.
وإذا عطّلت Claude-User، فبحسب Anthropic لن يستطيع نظامها جلب محتواك استجابةً لاستعلام مستخدم، وهذا قد يقلل ظهورك في البحث على الويب الموجَّه من المستخدم.
الروبوت 3: Claude-SearchBot، روبوت البحث
Claude-SearchBot هو الروبوت الذي يدور وصفه حول نتائج البحث نفسها. تقول Anthropic إنه يتصفح الويب لتحسين جودة نتائج البحث ويحلل المحتوى لجعل إجابات البحث أكثر صلة ودقة. وتعطيله يمنع فهرسة محتواك لتحسين البحث.
قراءتنا: إن أردت أن تظهر في نتائج بحث Claude فـ Claude-SearchBot هو أول سطر تراجعه في robots.txt، لأن مهمته الفهرسة من أجل البحث. والسماح له شرط مسبق لما تصفه الصفحة. وهو ليس وعدًا بأن يُعرض شيء.
أي روبوت تسمح له؟ ثلاثة أسئلة
لا تقول Anthropic أي روبوت تسمح له، ولذلك نعرض كيف كنا سنقرر نحن. وهذا رأينا لا رأي Anthropic.
- هل تريد أن تظهر صفحاتك في نتائج بحث Claude؟ إذن لا تعطّل Claude-SearchBot.
- هل تريد أن يفتح Claude صفحاتك حين يسأل شخص عنها؟ إذن لا تعطّل Claude-User.
- هل تريد أن يدخل محتواك في مجموعات بيانات التدريب؟ هذا هو قرار ClaudeBot، وقد يختلف عن الأولين. يمكن لموقع أن يسمح بالثلاثة، أو أن يرفض التدريب وحده.
ليست أي من هذه الإجابات خطأً تقنيًا. الخطأ يحدث حين تقرر عن غير قصد، مثلًا لأن Disallow: / من بيئة اختبار ما زال في ملفك.
كيف تسمح بكل روبوت أو تحظره في robots.txt
هذا ملف يسمح بالبحث وبالجلب عند الطلب ويرفض التدريب:
# التدريب: قرارك أنت (هذا المثال يرفضه)
User-agent: ClaudeBot
Disallow: /
# البحث والجلب بطلب من مستخدم
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /ولحظر روبوت عن موقعك كله تعرض صفحة Anthropic سطر User-agent باسم الروبوت يليه Disallow: /، في ملف robots.txt في المجلد الأعلى. وتطلب أن تفعل ذلك لكل نطاق فرعي تريد الانسحاب منه، فيحتاج www.example.com وblog.example.com كلٌّ إلى ملفه. ولإبطاء روبوت بدل حظره تقول الصفحة إن Anthropic تدعم السطر غير القياسي Crawl-delay، وتعرض Crawl-delay: 1 لـ ClaudeBot.
وتحذّر الصفحة كذلك من حظر عناوين IP لروبوتاتها. فقد لا يعمل ذلك كما ينبغي ولا يضمن الانسحاب، لأنه يمنع Anthropic من قراءة ملف robots.txt لديك. فضع القاعدة في robots.txt.
وهناك فخ يأتي من المعيار لا من Anthropic. وفق RFC 9309 يتبع الزاحف المجموعة التي تطابق اسمه، وإن كانت له مجموعة خاصة فلا تنطبق عليه المجموعة *. فإن أضفت مجموعة لـ Claude-SearchBot فكرر كل قاعدة يجب أن تبقى سارية. ويعرض مقالنا ملف robots.txt لزواحف الذكاء الاصطناعي الحل ويتناول OpenAI وPerplexity أيضًا.
ملفنا نحن مثال وليس توصية. في 4 نوفمبر 2026 جلبنا https://seogrinder.com/robots.txt بأمر curl: مجموعة مشتركة واحدة مع * وتسعة معرّفات وكلاء للذكاء الاصطناعي، منها ClaudeBot وClaude-SearchBot وClaude-User، وكل شيء مسموح ما عدا /api/. وقد يختلف ملفك.
كيف تميّز زيارات Anthropic الحقيقية من المزيفة
تربط الصفحة بقائمة هي claude.com/crawling/bots.json، وتقول إن الزاحف الذي يكون عنوان مصدره في هذه القائمة يأتي من Anthropic. جلبناها في 4 نوفمبر 2026: ملف JSON واحد فيه بادئات عناوين وحقل creationTime كانت قيمته 20 أكتوبر 2026. والقائمة غير مقسمة بحسب الروبوت، فهي تبيّن أن الزيارة من Anthropic ولا تبيّن أي الروبوتات الثلاثة قام بها. وهذا لا تقرؤه إلا من الاسم في معرّف المستخدم، وأي أحد يستطيع كتابة اسم في ترويسة، فلا تحسب الزيارة إلا إذا كان عنوانها في القائمة. وأعد جلب الملف من وقت لآخر.
- ابحث في سجلك عن الأسماء لا عن الإصدار. لا تطبع الصفحة سلاسل وكيل المستخدم كاملة. والسجل الفارغ ليس دليلًا على حظر، لأن الصفحة لا تقول كم مرة تزور الروبوتات.
- الروبوت الذي يصادف صفحة تحدٍّ (challenge) لا يقرأ شيئًا. تقول Anthropic إن روبوتاتها لا تتجاوز اختبارات CAPTCHA. أما هل تنفذ JavaScript فليس في صفحتها؛ ويبيّن مقالنا JavaScript وزواحف الذكاء الاصطناعي ما هو معروف.
كيف يساعدك SEOgrinder
SEOgrinder مجاني ولا يحتاج إلى حساب، ونحن من نبنيه. أدخل عنوانًا وابدأ التحليل وافتح التقرير. موضعان يهمانك هنا:
- تبويب الجاهزية للذكاء الاصطناعي، «فحوص لوكلاء الذكاء الاصطناعي»: يبيّن البند «توجيه روبوتات الذكاء الاصطناعي» كم زاحفًا للذكاء الاصطناعي له قاعدة صريحة، وكم منها مسموح وكم محظور، ويسمّي المحظورة. وهو يعرف ClaudeBot وClaude-User وClaude-SearchBot بالاسم. ويُحسب ClaudeBot روبوت تدريب، وClaude-SearchBot روبوت بحث، ولا يتحقق البند إلا إذا كانت للتدريب وللبحث قاعدة صريحة لكل منهما. وقاعدة لـ Claude-User وحده لا تحسم أيًّا منهما.
- تبويب المهام، «زواحف الذكاء الاصطناعي مسموح بها لكن الخادم يرفضها — يلزم الفحص»: يختبر SEOgrinder كيف يرد الخادم على أربعة أسماء روبوتات ثابتة، ولا يختبر منها إلا ما يسمح به robots.txt، ويقارن ذلك بالمتصفح. ومن روبوتات Anthropic لا يوجد بينها إلا ClaudeBot، والاختبار يستخدم الاسم وحده.
اضغط نسخ موجّه الوكيل عند أي بند لتحصل على تعليمات لمساعد البرمجة لديك، واضغط إعادة التحقق بعد أي تغيير. ولا يقرأ SEOgrinder سجل خادمك ولا يقيس هل يذكر Claude موقعك.
الأخطاء الشائعة
- حظر ClaudeBot للخروج من بحث Claude. في ClaudeBot تذكر Anthropic الاستبعاد من التدريب. وآثار البحث مذكورة للروبوتين الآخرين.
- حظر الثلاثة كلها احتياطًا. في Claude-User وClaude-SearchBot تقول Anthropic إن الظهور قد ينخفض.
- الحظر بعنوان IP بدل robots.txt. تقول Anthropic إن هذا قد لا يعمل.
- إصلاح النطاق الرئيسي وحده. تطلب Anthropic القاعدة لكل نطاق فرعي تريد الانسحاب منه.
- إضافة مجموعة لروبوت واحد وفقدان القواعد المشتركة. مجموعته الخاصة تحل محل المجموعة
*. - قراءة روبوت مسموح به على أنه استشهاد. السماح لروبوت يزيل عائقًا ولا يعد بذكر.
الأسئلة الشائعة
هل أستطيع أن أجعل Claude يستشهد بصفحتي؟
لا. لا أحد يستطيع فرض استشهاد، وصفحة Anthropic لا تصف إعدادًا يسببه. يمكنك أن تزيل العوائق ليتمكن روبوتاتها من قراءة صفحاتك. أما هل يذكرها Claude فقرار Claude.
هل يزيلني حظر ClaudeBot من بحث Claude؟
صفحة Anthropic لا تقول ذلك. ففي ClaudeBot تذكر استبعاد المواد المستقبلية من مجموعات بيانات التدريب. وآثار البحث التي تذكرها تخص Claude-User وClaude-SearchBot.
هل يعرض SEOgrinder هل يستشهد Claude بموقعي؟
لا. هو يفحص الأساس التقني: هل تستطيع أنظمة الذكاء الاصطناعي الوصول إلى الصفحة وقراءتها.
خطوتك التالية
افتح ملف robots.txt لديك وابحث عن ClaudeBot وClaude-User وClaude-SearchBot. وقرّر كلًّا منها عن قصد: البحث والجلب عند الطلب في جهة، والتدريب في جهة. وإن كنت تشغّل نطاقات فرعية فافحص ملف كل منها. ثم شغّل الفحص المجاني في SEOgrinder، وافتح تبويبي الجاهزية للذكاء الاصطناعي والمهام، وعالج ما بقي مفتوحًا.