أداة فحص زواحف الذكاء الاصطناعي: أي البوتات تصل إلى موقعك؟

تشغّل كل شركة ذكاء اصطناعي اليوم عدة بوتات بمهام مختلفة. فـ OAI-SearchBot من OpenAI يجد الصفحات لبحث ChatGPT، وChatGPT-User يجلب صفحة حين يسأل أحدهم عنها، وGPTBot يجمع بيانات التدريب. وتقسم Anthropic وPerplexity وApple وجوجل زواحفها بطريقة مشابهة، لذلك فإن قاعدة واحدة من نوع «اسمح للذكاء الاصطناعي» أو «احجب الذكاء الاصطناعي» أداة فظة.

تقرأ أداة فحص زواحف الذكاء الاصطناعي هذه ملف robots.txt وتختبره مقابل أكثر من 25 وكيل مستخدم للذكاء الاصطناعي، مجمّعة بحسب الغرض. ثم تطلب صفحتك بسلاسل وكلاء ذكاء اصطناعي حقيقية لتلتقط قواعد جدار الحماية أو شبكة CDN التي تردّ بـ 403 حتى عندما يقول robots.txt نعم.

كيف تفحص وصول زواحف الذكاء الاصطناعي

1. أدخل رابط صفحتك

   نجلب robots.txt من جذر ذلك المضيف ونختبر الرابط الذي أدخلته بالضبط.

2. راجع جدول الوصول

   يعرض كل بوت مسموح أو محجوب، والقاعدة التي حسمت ذلك، وهل هو بوت بحث أو جلب بطلب المستخدم أو تدريب.

3. افحص الاختبار المباشر

   البوت المسموح في robots.txt الذي يتلقى مع ذلك 403 أو صفحة تحدٍّ محجوب من جدار الحماية أو CDN أو الاستضافة.

بوتات الذكاء الاصطناعي بحسب الغرض

الشركة	البحث / الفهرسة	الجلب بطلب المستخدم	التدريب
OpenAI	OAI-SearchBot	ChatGPT-User	GPTBot
Anthropic	Claude-SearchBot	Claude-User	ClaudeBot
Perplexity	PerplexityBot	Perplexity-User	—
جوجل	Googlebot (البحث وAI Overviews)	—	Google-Extended (تدريب Gemini والتأسيس)
Apple	Applebot	—	Applebot-Extended

تغطي الأداة أيضا CCBot (Common Crawl) وMeta-ExternalAgent وBytespider وAmazonbot وDuckAssistBot وMistralAI-User وغيرها.

رمزان يتصرفان بشكل مختلف. فـ Google-Extended وApplebot-Extended لا يزوران موقعك أبدا؛ هما رمزان في robots.txt يتحكمان في كيفية استخدام المحتوى الذي جلبه Googlebot أو Applebot. وحجب Google-Extended لا يؤثر في ترتيب بحث جوجل ولا في AI Overviews، كما تذكر وثائق زواحف جوجل.

أدوات الجلب التي يطلقها المستخدم تعمل نيابة عن شخص طرح سؤالا. تشير OpenAI إلى أن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وقد لا يتبعها Perplexity-User أيضا. مزيد من الخلفية: زاحف الذكاء الاصطناعي.

احجب التدريب وابقَ في بحث الذكاء الاصطناعي

سياسة شائعة هي إبقاء بحث الذكاء الاصطناعي والجلب بطلب المستخدم مفتوحين مع الانسحاب من التدريب:

# AI search and user fetches: allowed, admin still private
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Disallow: /admin/

# AI training: blocked
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Everyone else
User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

لاحظ أن Disallow: /admin/ يظهر مرتين. فالزاحف يطيع المجموعة الأكثر تحديدا التي تسميه فقط، فالبوت الذي له مجموعته الخاصة يتجاهل كل ما تحت User-agent: *. أنشئ ملفا كهذا بـمولد robots.txt واختبر الروابط المفردة بـاختبار robots.txt.

حين يقول robots.txt نعم ويبقى البوت محجوبا

ملف robots.txt طلب لا بوابة. البوابة هي خادمك، وهناك تحدث معظم حالات الحجب العرضي:

• حماية البوتات في CDN. تقدم شبكات CDN والاستضافات إعدادات تحجب زواحف الذكاء الاصطناعي أو تتحدى البوتات المجهولة، فتردّ بـ 403 Forbidden أو بصفحة تحدٍّ.
• قواعد WAF وإضافات الأمان التي تحجب وكلاء المستخدم غير المألوفين أو نطاقات IP لمراكز البيانات.
• حدود المعدل التي تُرجع 429 Too Many Requests حين يجلب بوت عدة صفحات بسرعة.

يبلّغ الاختبار المباشر برمز الحالة الذي يتلقاه كل وكيل مستخدم للذكاء الاصطناعي. فإذا كان GPTBot مسموحا في robots.txt ويتلقى 403، فانظر في جدار الحماية لا في robots.txt. وتُظهر سجلات الوصول ما تلقته البوتات الحقيقية:

# Status codes served to AI bots (Apache/Nginx combined log format)
grep -E 'GPTBot|OAI-SearchBot|ClaudeBot|PerplexityBot' access.log \
  | awk '{print $9}' | sort | uniq -c

    412 200
     37 403     <- something is blocking these requests

يستطيع أي شخص تزييف وكيل المستخدم، فقارن عناوين IP في سجلاتك بالنطاقات التي تنشرها الشركات، مثل تلك المدرجة لدى Perplexity وOpenAI، قبل أن تصدّق سطرا يدّعي أنه بوت.

نصائح لإدارة زواحف الذكاء الاصطناعي

• قرر بحسب الغرض لا بحسب الشركة: بوتات البحث والجلب بطلب المستخدم قد ترسل لك زوارا، أما بوتات التدريب فلا.
• كرر قواعد Disallow المهمة داخل كل مجموعة مسماة، لأن البوت الذي له مجموعته الخاصة يتجاهل User-agent: *.
• أعد الفحص بعد تغيير إعدادات CDN أو إضافات الأمان؛ فكثيرا ما تحجب بوتات الذكاء الاصطناعي دون المساس بـ robots.txt.
• امنح التغييرات يوما: تقول OpenAI وPerplexity كلتاهما إن تحديثات robots.txt قد تستغرق نحو 24 ساعة لتسري.
• استخدم قاعدة في جدار الحماية لا robots.txt حين تحتاج حجبا صارما — فـ robots.txt لا يعمل إلا مع البوتات التي تختار الالتزام به.

حدود يجب مراعاتها

تعرض نتائج robots.txt ما يُطلب من كل بوت فعله؛ أما التزامه فمتروك لمشغّله. يرسل الاختبار المباشر سلاسل وكلاء ذكاء اصطناعي حقيقية من خوادمنا لا من نطاقات IP الخاصة بالشركات، لذلك قد يعامل جدار حماية يتحقق من البوتات بحسب IP اختبارنا بشكل مختلف عن الزاحف الحقيقي — فتأكد من سجلات خادمك. يختبر كل تشغيل رابطا واحدا؛ ولتغطية أوسع، اختبر الأقسام الرئيسية بـاختبار robots.txt أو شغّل فحص السيو للذكاء الاصطناعي.

آخر تحديث: 30‏/10‏/2026 بواسطة فريق Yes SEO.