# ما المقصود بـزواحف الذكاء الاصطناعي (AI Crawler)؟

> زاحف الذكاء الاصطناعي روبوت تشغّله شركة ذكاء اصطناعي لجلب صفحات الويب بهدف تدريب النماذج أو بناء فهرس بحث أو الرد على طلب مستخدم لحظيا.

URL: https://yes-seo.com/ar/glossary/ai-crawler

**زاحف الذكاء الاصطناعي (AI Crawler)** عميل آلي تشغّله شركة ذكاء اصطناعي لتنزيل صفحات الويب. وهو فرع من مفهوم [زاحف الويب (Web Crawler)](https://yes-seo.com/ar/glossary/crawler): يعرّف نفسه بسلسلة user-agent ومن المفترض أن يحترم robots.txt كزواحف البحث التقليدية. وما يميزه هو ما يحدث لمحتواك بعد ذلك، وهذا يتوقف على أي من ثلاث مهام يؤديها الروبوت.

## ثلاثة أغراض وثلاثة قرارات

| الغرض | ماذا يفعل | أمثلة |
| --- | --- | --- |
| التدريب | يجمع محتوى قد يُستخدم لتدريب نماذج مستقبلية | GPTBot وClaudeBot وCCBot وMeta-ExternalAgent وBytespider؛ ورمزا الانسحاب Google-Extended وApplebot-Extended |
| فهرسة البحث | يبني الفهرس الذي يستشهد منه منتج بحث بالذكاء الاصطناعي | OAI-SearchBot (بحث ChatGPT) وClaude-SearchBot وPerplexityBot وDuckAssistBot |
| جلب المستخدم | يجلب صفحة لحظيا لأن شخصا سأل المساعد عنها | ChatGPT-User وClaude-User وPerplexity-User |

هذا التقسيم مهم لأن حجب روبوت تدريب لا يزيلك من البحث بالذكاء الاصطناعي، وحجب روبوت بحث قد يجعلك غير مرئي في إجابات ذلك المنتج. وتوثّق كل جهة روبوتاتها: [OpenAI](https://platform.openai.com/docs/bots) و[Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) و[Perplexity](https://docs.perplexity.ai/guides/bots). وتنبّه إلى أن أدوات الجلب التي يطلقها المستخدم تعمل أقرب إلى متصفح يتصرف نيابة عن شخص؛ وتقول Perplexity إن `Perplexity-User` يتجاهل عموما robots.txt لهذا السبب.

## سياسة شائعة في robots.txt

يسمح كثير من الناشرين ببحث الذكاء الاصطناعي وجلب المستخدم (من أجل الظهور والإحالات) مع الانسحاب من التدريب:

```
# السماح ببحث الذكاء الاصطناعي والجلب اللحظي
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# الانسحاب من تدريب النماذج
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
```

السماح بالتدريب قرار تجاري لا جواب صحيحا شاملا له؛ والمهم أن تتخذه عن قصد وبحسب الغرض. انظر [GPTBot](https://yes-seo.com/ar/glossary/gptbot) و[Google-Extended](https://yes-seo.com/ar/glossary/google-extended) للحالتين الأكثر سؤالا.

## أخطاء شائعة

- **حجب «كل الذكاء الاصطناعي» بقاعدة واحدة** ثم التساؤل لماذا لا يستشهد ChatGPT أو Perplexity بالموقع.

- **نسيان جدار الحماية.** قد تُرجع حماية الروبوتات في الـCDN وخيارات «حجب روبوتات الذكاء الاصطناعي» رمز 403 لزواحف الذكاء الاصطناعي حتى لو سمح robots.txt. فـrobots.txt طلب، وجدار الحماية هو البوابة الحقيقية.

- **الاعتماد على user-agent وحده.** يستطيع أي شخص انتحال user-agent. إن وضعت الروبوتات في قائمة السماح عند جدار الحماية فتحقق منها بنطاقات عناوين IP التي تنشرها الجهات.

- **الاعتماد على JavaScript.** تجلب زواحف ذكاء اصطناعي كثيرة HTML الخام ولا تشغّل السكربتات، فقد يكون المحتوى المعروض من جهة العميل غير مرئي لها.

## كيف تفحصها

تختبر أداة [فحص زواحف الذكاء الاصطناعي](https://yes-seo.com/ar/ai-crawler-checker) ملف [ملف robots.txt](https://yes-seo.com/ar/glossary/robots-txt) لديك مقابل أكثر من 25 روبوت ذكاء اصطناعي، مجمّعة بحسب الغرض (بحث وجلب مستخدم وتدريب)، وتجري اختبار جدار حماية حيا يطلب صفحتك بعناوين user-agent حقيقية لروبوتات الذكاء الاصطناعي لكشف حالات حجب 403 التي لا يكشفها robots.txt. وللقواعد خطوة بخطوة انظر [كيف تحظر زواحف الذكاء الاصطناعي بملف robots.txt: قائمة 2026 ووصفات](https://yes-seo.com/ar/blog/block-ai-crawlers-robots-txt).

## الأسئلة الشائعة

### هل يضر حجب زواحف الذكاء الاصطناعي بترتيبي في جوجل؟

حجب الروبوتات الخاصة بالذكاء الاصطناعي مثل GPTBot أو ClaudeBot أو رمز Google-Extended لا يؤثر في ترتيب بحث جوجل. أما حجب Googlebot نفسه فيؤثر، فلا تحجبه أبدا لمنع تدريب الذكاء الاصطناعي.

### أي زواحف ذكاء اصطناعي أسمح بها؟

إن أردت الظهور في إجابات الذكاء الاصطناعي فاسمح بروبوتات البحث وجلب المستخدم: OAI-SearchBot وChatGPT-User وClaude-SearchBot وClaude-User وPerplexityBot. أما السماح بروبوتات التدريب فخيار منفصل واختياري.

### هل تحترم زواحف الذكاء الاصطناعي robots.txt؟

تقول الجهات الكبرى إن زواحفها تتبع robots.txt، لكن أدوات الجلب التي يطلقها المستخدم مثل Perplexity-User قد لا تفعل. ويعتمد الإنفاذ في النهاية على جدار الحماية لديك، ولهذا يفيد اختبار الوصول الحي.