فحص الظهور في الذكاء الاصطناعي: هل تصل ChatGPT وGemini وPerplexity إلى موقعك؟
الإجابة المختصرة: فحص الظهور في الذكاء الاصطناعي يعني أحد أمرين. إما رصد عدد المرات التي يذكر فيها ChatGPT أو Gemini أو Perplexity علامتك التجارية، وإما التحقق من أن زواحف الذكاء الاصطناعي (AI crawlers) تستطيع الوصول إلى صفحاتك وقراءتها أصلا. ابدأ بالثاني: فلا يفيد أي تقرير تتبع إن كان الزاحف محظورا أو كان نصك لا يظهر إلا بعد تشغيل JavaScript. ويجري SEOgrinder فحص الجاهزية هذا مجانا ودون حساب.
ما الذي يقيسه فحص الظهور في الذكاء الاصطناعي فعلا
تغطي هذه العبارة منتجين مختلفين، والخلط بينهما يقود إلى علاج خاطئ.
تتبع ذكر العلامة التجارية (mention tracking) يرسل قائمة ثابتة من الأسئلة (prompts) إلى مساعدات الذكاء الاصطناعي، ويسجل هل تظهر علامتك أو عنوانك في الإجابات. وهو يجيب عن سؤال «هل يشير إلينا المساعد؟». وتوجد أدوات تتبع مجانية ومدفوعة.
فحص الجاهزية ينظر إلى موقعك أنت. وهو يجيب عن سؤال «هل يستطيع نظام ذكاء اصطناعي جلب صفحاتنا وقراءتها؟». وهذا سؤال تقني، وأغلب فحوصه لها جواب واضح بنعم أو لا: هل الزاحف مسموح في robots.txt، وهل يحتوي HTML المرسل على النص، وهل الصفحة قابلة للفهرسة. فحص الجاهزية لا يخبرك هل سيذكرك المساعد. إنه يخبرك هل أزلت العوائق الواضحة.
كلاهما مفيد. فهما يجيبان عن سؤالين مختلفين، والترتيب مهم.
لماذا تأتي الجاهزية أولا
ثلاث حقائق موثقة تفسر ذلك:
- بحث ChatGPT يعتمد على OAI-SearchBot. تذكر OpenAI أن المواقع التي انسحبت من OAI-SearchBot لا تظهر في إجابات البحث داخل ChatGPT، وإن كان يمكن أن تظهر كروابط تنقل. وقد يستغرق أثر تغيير ملف robots.txt نحو 24 ساعة. المصدر: وثائق زواحف OpenAI.
- زواحف الذكاء الاصطناعي تقرأ في الغالب HTML الذي يصلها. وجد تحليل أجرته Vercel وMERJ في ديسمبر 2024 أن أيا من زواحف الذكاء الاصطناعي الكبرى التي درسها لم ينفذ JavaScript، بينما نفذه Googlebot (لأجل Gemini) وAppleBot. ولم نجد في المصادر التي راجعناها تكرارا لهذا التحليل، فاقرأه تحذيرا قويا لا قانونا دائما. المصدر: Vercel، The rise of the AI crawler.
- لا متطلبات إضافية لميزات Google بالذكاء الاصطناعي. تقول Google إنه لا توجد متطلبات إضافية للظهور في «النظرة العامة بالذكاء الاصطناعي» (AI Overviews) أو في AI Mode، ولا تحسينات خاصة. فالمطلوب أن تكون الصفحة مفهرسة ومؤهلة للظهور في بحث Google مع مقتطف. المصدر: Google Search Central.
وإذا جمعنا ذلك: إن كان الباب مغلقا فلا أحد يستطيع أن يقرأ ما في الغرفة. ستريك أداة التتبع رقما منخفضا، لكنها لن تخبرك بأن ملف robots.txt لديك يحظر الروبوت، أو بأن صفحتك هيكل فارغ إلى أن يعمل سكربت.
الفحوص التي تحدد هل يستطيع الذكاء الاصطناعي قراءة موقعك
| الفحص | السؤال الذي يجيب عنه | الإخفاق المعتاد |
|---|---|---|
| قواعد زواحف الذكاء الاصطناعي في robots.txt | هل كل روبوت مسموح أو محظور عن قصد؟ | حظر شامل واحد للجميع، أو مجموعة خاصة بروبوت نسيت القواعد المشتركة |
| روبوت البحث مقابل روبوت التدريب | هل تحظر التدريب وتبقي البحث مسموحا؟ | حظر GPTBot مع الاعتقاد بأن بحث ChatGPT توقف |
| النص في HTML المرسل | هل المحتوى الرئيس في الاستجابة الأولى دون JavaScript؟ | هيكل صفحة فارغ فيه وسم سكربت |
| قابلية الفهرسة مع مقتطف | هل الصفحة خالية من noindex وnosnippet؟ | إعداد بيئة الاختبار انتقل إلى الموقع الحي |
| الوصول عبر CDN وجدار الحماية | هل تتلقى الروبوتات صفحة عادية لا حظرا؟ | قاعدة حماية من الروبوتات ترفض الزواحف غير المعروفة |
| خريطة الموقع | هل الصفحات التي تريد أن يعثر عليها مدرجة؟ | لا خريطة موقع، أو خريطة مليئة بالتحويلات |
| إشارات اختيارية | Content-Signal وllms.txt ونسخة Markdown | يعاملها البعض كأنها أدوات لرفع الترتيب، وأثرها غير مثبت |
وتذكر Google الصفوف الأول والرابع والخامس مباشرة. فالصفحة يجب أن تكون مفهرسة ومؤهلة للظهور في البحث مع مقتطف (snippet)، وكأفضل ممارسة ينبغي السماح بالزحف في robots.txt وعند أي بنية CDN أو استضافة. وتعد Google أيضا الروابط الداخلية والمحتوى المهم بصيغة نصية من الأساسيات.
أي زاحف يفعل ماذا
تفصل OpenAI وAnthropic بين التدريب والبحث وطلبات المستخدمين؛ أما Perplexity وGoogle فتقسمان العمل على نحو مختلف. ولذلك نادرا ما يكفي سطر User-agent واحد.
| الروبوت | الجهة المشغلة | الغرض | إن حظرته |
|---|---|---|---|
| GPTBot | OpenAI | تدريب النماذج | إشارة إلى أنك لا تريد استخدام المحتوى في التدريب |
| OAI-SearchBot | OpenAI | البحث داخل ChatGPT | لا يظهر الموقع في إجابات البحث داخل ChatGPT |
| ChatGPT-User | OpenAI | طلب مستخدم داخل ChatGPT | قد لا تنطبق قواعد robots.txt لأن إنسانا هو من طلب |
| ClaudeBot | Anthropic | جمع المحتوى للتدريب | إشارة إلى أن المحتوى المستقبلي ينبغي استبعاده من التدريب |
| Claude-SearchBot | Anthropic | جودة نتائج البحث | قد ينخفض الظهور في نتائج البحث |
| Claude-User | Anthropic | سؤال مستخدم إلى Claude | يتعذر الجلب بطلب المستخدم، وقد ينخفض الظهور |
| PerplexityBot | Perplexity | نتائج البحث داخل Perplexity | ليس مخصصا للتدريب؛ وتوصي Perplexity بالسماح له |
| Google-Extended | تدريب Gemini وإسناد إجاباته | لا أثر في الإدراج أو الترتيب في بحث Google |
المصادر: OpenAI وAnthropic وPerplexity وGoogle. تغير الجهات المشغلة قوائمها، فراجع الصفحات قبل أن تنسخ أي قاعدة. وللتفصيل في كتابة القواعد اقرأ مقالنا ملف robots.txt لزواحف الذكاء الاصطناعي.
شغل فحص الجاهزية في خمس دقائق
- افتح SEOgrinder واكتب عنوان موقعك وابدأ التحليل. لا حاجة إلى حساب.
- افتح تبويب الجاهزية للذكاء الاصطناعي في التقرير.
- اقرأ «فحوص لوكلاء الذكاء الاصطناعي». فيها ثلاثة بنود ضمن «الأساسيات» (robots.txt وخريطة الموقع وقواعد زواحف الذكاء الاصطناعي) وأربعة ضمن «إضافات» (Content-Signals وllms.txt ونسخة Markdown وترويسات Link). والإضافات اقتراحات من جهات مصنعة بعينها، وما دام أحدها مفتوحا تقول الأداة ذلك صراحة: لم يثبت لها تأثير في Google.
- يمكن فتح البنود المتحققة لعرض النص الذي تم العثور عليه في ملفاتك. ولاحظ أن SEOgrinder يجلب موقعك باسمه الخاص، لا بوصفه GPTBot.
- اضغط نسخ موجّه الوكيل والصقه في مساعد البرمجة لديك. في البند المفتوح يصف الموجه ما ينبغي إنشاؤه وكيف تتحقق منه؛ وفي البند المتحقق يطلب من المساعد أن يراجع الموجود وألا يغير إلا ما هو خاطئ.
- اضغط إعادة التحقق للتأكد. تبقى التقارير محفوظة مؤقتا حتى 24 ساعة، فاستخدم هذا الزر بعد كل إصلاح؛ وهو يعمل بضع مرات في الساعة.
ويشير التقرير كذلك إلى الصفحات التي لا تبني واجهتها إلا في المتصفح. وبالنسبة إلى زواحف الذكاء الاصطناعي التي لا تنفذ JavaScript فقد تبدو مثل هذه الصفحة فارغة. وتجد شرح ذلك واختباراته الثلاثة في مقالنا JavaScript وزواحف الذكاء الاصطناعي.
أضف التتبع بعد ذلك، وابدأ يدويا
حين تصير الأساسيات خضراء، قس النتيجة. ولا تحتاج إلى أداة مدفوعة لتبدأ:
- اكتب عشرة أسئلة يطرحها عميل حقيقي. فمثلا لمحل آيس كريم محلي: «أفضل محل آيس كريم في [اسم مدينتك]» وبضع صيغ مشابهة.
- اطرح كل سؤال على ChatGPT وGemini وPerplexity، في محادثة جديدة.
- سجل التاريخ والمساعد والسؤال، وهل ظهر اسمك، وما الصفحات التي ظهرت مصدرا، ومن ظهر غيرك.
- كرر ذلك شهريا بالأسئلة نفسها.
وجرب نوعين من الأسئلة. أسئلة بلا اسمك («أفضل محل آيس كريم في [اسم مدينتك]») تكشف هل يمكن العثور على موقعك أصلا. وأسئلة باسمك («هل يفتح [اسم المحل] يوم الجمعة؟») تكشف هل المعلومات عنك صحيحة. وهما مشكلتان مختلفتان: في الأولى ينقصك الانتشار، وفي الثانية تكون المعلومات خاطئة أو قديمة. ويختلف مكان علاج كل منهما.
تختلف الإجابات من مرة إلى أخرى ومن مستخدم إلى آخر، فراقب الاتجاه عبر عدة جولات بدل أن تتفاعل مع نتيجة واحدة. وإن احتجت لاحقا إلى حجم أكبر فيمكن لأداة تتبع مدفوعة أن تشغل الأسئلة نفسها آليا.
اجعل صفحاتك قابلة للاستشهاد
بعد أن تزول العوائق يصير المحتوى هو الأساس. وتقول Google إن أساسيات SEO تظل سارية على «النظرة العامة بالذكاء الاصطناعي» وAI Mode. وبالنسبة إلى نشاط محلي يعني ذلك بالتحديد:
- الحقائق نصا لا صورة. الاسم والعنوان ومواعيد العمل والعروض وطرق التواصل تظهر في الصفحة نصا عاديا، لا في صورة أو ملف PDF وحده.
- جواب واحد تحت كل عنوان. «مواعيد العمل» و«الأصناف» و«كيف تصل إلينا» أقسام مستقلة. بحسب تقديرنا، لا بحسب بيان من الجهات المشغلة: الجمل القصيرة الواضحة أسهل في الاقتباس.
- المعلومات نفسها في كل مكان. بحسب تقديرنا، لا بحسب بيان من الجهات المشغلة: مواعيد عمل متضاربة بين موقعك وسائر الأدلة قد تجعل الجواب الصحيح أصعب.
- خريطة موقع وروابط داخلية. اذكر خريطة الموقع في robots.txt وصل الصفحات المهمة بالصفحة الرئيسة، كي تجد الزواحف أهم صفحاتك بسهولة أكبر. ولا ضمان بأن يجري زحف كل شيء أو فهرسته.
- بيانات منظمة (structured data) تطابق النص الظاهر. لا تشترطها Google لميزات الذكاء الاصطناعي، لكنها، بحسب تقديرنا لا بحسب بيان من الجهات المشغلة، قد تساعد على وصف المعلومات وصفا لا لبس فيه. ويعرض SEOgrinder أنواع المخطط (schema) التي تحتويها صفحتك وأي الحقول الإلزامية ناقصة في الأنواع المعروفة.
الأخطاء الشائعة
- حظر كل شيء بعد الذعر. الحظر الشامل لجميع الروبوتات يزيلك من نتائج البحث أيضا.
- حظر GPTBot للخروج من ChatGPT. GPTBot يخص التدريب. أما بحث ChatGPT فيستخدم OAI-SearchBot، وكل إعداد مستقل.
- مجموعة منفصلة تسقط القواعد المشتركة. الزاحف الذي يجد مجموعة خاصة به يتبع تلك المجموعة ويتجاهل المجموعة العامة (RFC 9309). اكتب عدة أسطر
User-agentفوق مجموعة قواعد واحدة، أو كرر القواعد. - قراءة درجة أداة التتبع على أنها دليل على إمكان القراءة. قد يذكر المساعد صفحة فارغة دون JavaScript اعتمادا على مصادر أخرى، وقد يتجاهل صفحة مقروءة.
- التعامل مع llms.txt كأنه أداة رفع ترتيب. تفيد تقارير بأن غاري إيليس (Gary Illyes) من Google قال إن Google لا تدعم ملف llms.txt، وقال جون مولر (John Mueller) إنه، بحسب علمه، لا يستخدمه أي نظام ذكاء اصطناعي. وهذه تقارير من مصادر ثانوية، انظر Search Engine Roundtable. إضافة الملف رخيصة لكن أثره غير مثبت. وتجد التفاصيل في مقالنا ملف llms.txt: ما هو وكيف تنشئه وهل يفيد فعلا.
- انتظار تغيير فوري. امنح الزواحف نحو يوم بعد تحديث ملف robots.txt.
الأسئلة الشائعة
هل توجد أداة مجانية لفحص الظهور في الذكاء الاصطناعي؟
نعم، من النوعين. تتوافر أدوات لقياس ذكر العلامة التجارية، مجانية ومدفوعة، توضح هل تستشهد منصات الذكاء الاصطناعي بعلامة ما. أما SEOgrinder فيفحص هل تستطيع أنظمة الذكاء الاصطناعي الوصول إلى موقعك وقراءته، مجانا ودون حساب.
هل تضمن أداة فحص أن يذكر ChatGPT نشاطي التجاري؟
لا. لا أحد يتحكم فيما يجيب به المساعد. يمكنك أن تزيل العوائق التقنية وأن تنشر صفحات تستحق الاستشهاد بها. أما هل يسميك المساعد أم لا فهو قراره.
هل يخرجني حظر GPTBot من إجابات ChatGPT؟
لا. GPTBot هو زاحف التدريب. أما بحث ChatGPT فلا يستطيع أن يعرض إلا المواقع التي تسمح لـ OAI-SearchBot، وطلبات المستخدمين تستخدم ChatGPT-User.
هل أحتاج إلى ملف llms.txt؟
هو اختياري. كلفته قليلة، ويتحقق منه SEOgrinder، لكن أثره في الترتيب أو الاستشهاد غير مثبت. وهو لا يغني أبدا عن robots.txt وخريطة الموقع وصفحات تجيب عن أسئلة حقيقية.
أي فحص أبدأ به؟
فحص الجاهزية. فإن لم يستطع الزاحف جلب صفحتك فكل قياس لاحق يبدأ من الصفر.
هل فحص الظهور في الذكاء الاصطناعي شيء مختلف عن SEO؟
بحسب تقديرنا: بالنسبة إلى ميزات Google بالذكاء الاصطناعي فالجواب لا في معظمه، لأن Google تكتب أن أساسيات SEO تظل سارية على «النظرة العامة بالذكاء الاصطناعي» وAI Mode. أما ChatGPT وClaude وPerplexity فلا يوجد بيان مماثل؛ فلها زواحف خاصة بها وقواعد خاصة بها (انظر قواعد robots.txt لزواحف الذكاء الاصطناعي).
خطوتك التالية
شغل الفحص المجاني على موقعك وافتح تبويب «الجاهزية للذكاء الاصطناعي». فإن كان أحد البنود الأساسية الثلاثة مفتوحا فأصلحه أولا، ثم اضغط «إعادة التحقق»، وبعد ذلك فقط ابدأ تتبع ذكر علامتك.