# ما المقصود بـزاحف الويب (Web Crawler)؟

> زاحف الويب برنامج آلي يكتشف صفحات الويب ويحمّلها باتباع الروابط، لتتمكن محركات البحث وأنظمة الذكاء الاصطناعي من فهرستها.

URL: https://yes-seo.com/ar/glossary/crawler

**زاحف الويب** (Web Crawler) — ويسمى أيضًا العنكبوت (spider) أو البوت — برنامج يجلب صفحات الويب تلقائيًا ويستخرج روابطها ويضيف الروابط الجديدة إلى طابور للجلب لاحقًا. تشغّل محركات البحث الزواحف لبناء فهارسها؛ وتشغّلها شركات الذكاء الاصطناعي لتغذية محركات الإجابة وتدريب النماذج.

## كيف يعمل الزاحف

- **الروابط الأولية (Seed URLs)** تأتي من صفحات يعرفها أصلًا، ومن خرائط الموقع، ومن روابط عثر عليها في أماكن أخرى.

- **التحقق من الآداب**: قبل الجلب يقرأ الزاحف ملف [robots.txt](https://yes-seo.com/ar/glossary/robots-txt) الخاص بالمضيف ويتخطى المسارات الممنوعة.

- **الجلب**: يطلب الرابط ويسجل رمز الحالة والترويسات وHTML.

- **التحليل**: يستخرج الروابط من عناصر `<a href>`، إضافة إلى وسوم canonical وغيرها من الإشارات.

- **الجدولة**: تُعطى الروابط الجديدة والمتغيّرة أولوية، وتتلقى الخوادم التي تبطؤ طلبات أقل.

وتضيف جوجل خطوة عرض لجافاسكربت لاحقًا في مسارها. أما كثير من الزواحف الأخرى فلا تفعل، ولهذا يهم كثيرًا أن يكون المحتوى في HTML الصادر من الخادم.

## الزواحف التي تهمك

- **Googlebot** — وأغلبه زاحف الهاتف الذكي، لأن جوجل تفهرس النسخة المحمولة من الصفحات.

- **Bingbot** — يغذّي فهرس Bing عدة منتجات بحث أخرى.

- **زواحف الذكاء الاصطناعي**، مقسّمة بحسب الغرض. تجلب بوتات البحث مثل `OAI-SearchBot` و`Claude-SearchBot` و`PerplexityBot` الصفحات لإجابات قد تستشهد بك. وتجمع بوتات التدريب مثل `GPTBot` و`ClaudeBot` و`CCBot` بيانات للنماذج. وتحمّل أدوات الجلب التي يطلقها المستخدم مثل `ChatGPT-User` و`Claude-User` صفحة لأن أحدهم سأل عنها. للمزيد راجع [زاحف الذكاء الاصطناعي](https://yes-seo.com/ar/glossary/ai-crawler).

## مثال: Googlebot في سجل الوصول لديك

```
66.249.66.1 - - [28/Oct/2026:09:14:02 +0000] "GET /pricing HTTP/1.1" 200 18432 "-"
"Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
```

يستطيع أي شخص تزوير سلسلة user-agent هذه. وللتأكد من أنه Googlebot حقيقي، أجرِ بحثًا عكسيًا في DNS على عنوان IP — ينبغي أن يُحَل إلى `googlebot.com` أو `google.com` أو `googleusercontent.com` — ثم بحثًا أماميًا يعود إلى عنوان IP نفسه، أو قارنه بنطاقات IP التي تنشرها جوجل ([التحقق من Googlebot](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ar)). وتعرض جوجل إصدار Chrome بصيغة `W.X.Y.Z` لأنه يتغير مع تحديث متصفح الزاحف.

## أخطاء شائعة

- **قواعد جدار حماية تحظر البوتات الجيدة.** قد تعيد الحماية الصارمة من البوتات في CDN الرمز 403 لـ Googlebot أو زواحف بحث الذكاء الاصطناعي، بينما يقول robots.txt إنها مرحَّب بها.

- **الوثوق بـ user-agent وحده.** يكذب المسيئون ببساطة بشأن هويتهم؛ تحقق بعنوان IP في كل ما هو مهم.

- **روابط لا تستطيع الزواحف اتباعها**: أزرار بمعالجات `onclick`، وروابط بلا `href`، وروابط تُبنى في جافاسكربت فقط. راجع [سيو جافاسكربت](https://yes-seo.com/ar/glossary/javascript-seo).

- **فضاءات الروابط اللانهائية** الناتجة عن التقويمات والمرشحات، وتوقع الزواحف في فخ وتهدر [ميزانية الزحف](https://yes-seo.com/ar/glossary/crawl-budget).

## اختبر وصول الزواحف

تفحص [أداة اختبار robots.txt](https://yes-seo.com/ar/robots-txt-tester) أي رابط مقابل قواعد Googlebot وBingbot وبوتات الذكاء الاصطناعي. ولاكتشاف حظر جدران الحماية أيضًا، تطلب [أداة فحص زواحف الذكاء الاصطناعي](https://yes-seo.com/ar/ai-crawler-checker) صفحتك بوكلاء مستخدم (user-agents) حقيقيين للذكاء الاصطناعي وتبلغ عن أي استجابات 403.

## الأسئلة الشائعة

### ما الفرق بين الزحف والفهرسة؟

الزحف هو جلب الصفحة؛ والفهرسة هي تحليلها وتخزينها لتظهر في النتائج. وقد تُزحف الصفحة ولا تُفهرس، وقد تُفهرس أحيانًا صفحة ممنوعة من الزحف اعتمادًا على الروابط وحدها.

### كم مرة يزحف Googlebot موقعي؟

يعتمد ذلك على شعبية صفحاتك ومعدل تغيّرها وسرعة استجابة خادمك. ويعرض تقرير إحصاءات الزحف (Crawl Stats) في Google Search Console الطلبات اليومية وأزمنة الاستجابة والأخطاء.

### هل يمكنني إبطاء زاحف يرهق خادمي؟

تتجاهل جوجل crawl-delay وأوقفت إعداد معدل الزحف عام 2024، لكنها تتراجع تلقائيًا حين تتلقى استجابات 500 أو 503 أو 429. أما Bing فيدعم crawl-delay ويوفر ضوابط للزحف في Bing Webmaster Tools.