ما هي زواحف الذكاء الاصطناعي؟ الأنواع وطرق التحكم بها

زواحف الذكاء الاصطناعي (AI Crawler): زاحف الذكاء الاصطناعي روبوت تشغّله شركة ذكاء اصطناعي لجلب صفحات الويب بهدف تدريب النماذج أو بناء فهرس بحث أو الرد على طلب مستخدم لحظيا.

زاحف الذكاء الاصطناعي (AI Crawler) عميل آلي تشغّله شركة ذكاء اصطناعي لتنزيل صفحات الويب. وهو فرع من مفهوم زاحف الويب (Web Crawler): يعرّف نفسه بسلسلة user-agent ومن المفترض أن يحترم robots.txt كزواحف البحث التقليدية. وما يميزه هو ما يحدث لمحتواك بعد ذلك، وهذا يتوقف على أي من ثلاث مهام يؤديها الروبوت.

ثلاثة أغراض وثلاثة قرارات

الغرض	ماذا يفعل	أمثلة
التدريب	يجمع محتوى قد يُستخدم لتدريب نماذج مستقبلية	`GPTBot` و`ClaudeBot` و`CCBot` و`Meta-ExternalAgent` و`Bytespider`؛ ورمزا الانسحاب `Google-Extended` و`Applebot-Extended`
فهرسة البحث	يبني الفهرس الذي يستشهد منه منتج بحث بالذكاء الاصطناعي	`OAI-SearchBot` (بحث ChatGPT) و`Claude-SearchBot` و`PerplexityBot` و`DuckAssistBot`
جلب المستخدم	يجلب صفحة لحظيا لأن شخصا سأل المساعد عنها	`ChatGPT-User` و`Claude-User` و`Perplexity-User`

هذا التقسيم مهم لأن حجب روبوت تدريب لا يزيلك من البحث بالذكاء الاصطناعي، وحجب روبوت بحث قد يجعلك غير مرئي في إجابات ذلك المنتج. وتوثّق كل جهة روبوتاتها: OpenAI وAnthropic وPerplexity. وتنبّه إلى أن أدوات الجلب التي يطلقها المستخدم تعمل أقرب إلى متصفح يتصرف نيابة عن شخص؛ وتقول Perplexity إن Perplexity-User يتجاهل عموما robots.txt لهذا السبب.

سياسة شائعة في robots.txt

يسمح كثير من الناشرين ببحث الذكاء الاصطناعي وجلب المستخدم (من أجل الظهور والإحالات) مع الانسحاب من التدريب:

# السماح ببحث الذكاء الاصطناعي والجلب اللحظي
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# الانسحاب من تدريب النماذج
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

السماح بالتدريب قرار تجاري لا جواب صحيحا شاملا له؛ والمهم أن تتخذه عن قصد وبحسب الغرض. انظر GPTBot وGoogle-Extended للحالتين الأكثر سؤالا.

أخطاء شائعة

حجب «كل الذكاء الاصطناعي» بقاعدة واحدة ثم التساؤل لماذا لا يستشهد ChatGPT أو Perplexity بالموقع.
نسيان جدار الحماية. قد تُرجع حماية الروبوتات في الـCDN وخيارات «حجب روبوتات الذكاء الاصطناعي» رمز 403 لزواحف الذكاء الاصطناعي حتى لو سمح robots.txt. فـrobots.txt طلب، وجدار الحماية هو البوابة الحقيقية.
الاعتماد على user-agent وحده. يستطيع أي شخص انتحال user-agent. إن وضعت الروبوتات في قائمة السماح عند جدار الحماية فتحقق منها بنطاقات عناوين IP التي تنشرها الجهات.
الاعتماد على JavaScript. تجلب زواحف ذكاء اصطناعي كثيرة HTML الخام ولا تشغّل السكربتات، فقد يكون المحتوى المعروض من جهة العميل غير مرئي لها.

كيف تفحصها

تختبر أداة فحص زواحف الذكاء الاصطناعي ملف ملف robots.txt لديك مقابل أكثر من 25 روبوت ذكاء اصطناعي، مجمّعة بحسب الغرض (بحث وجلب مستخدم وتدريب)، وتجري اختبار جدار حماية حيا يطلب صفحتك بعناوين user-agent حقيقية لروبوتات الذكاء الاصطناعي لكشف حالات حجب 403 التي لا يكشفها robots.txt. وللقواعد خطوة بخطوة انظر كيف تحظر زواحف الذكاء الاصطناعي بملف robots.txt: قائمة 2026 ووصفات.

الأسئلة الشائعة

هل يضر حجب زواحف الذكاء الاصطناعي بترتيبي في جوجل؟

حجب الروبوتات الخاصة بالذكاء الاصطناعي مثل GPTBot أو ClaudeBot أو رمز Google-Extended لا يؤثر في ترتيب بحث جوجل. أما حجب Googlebot نفسه فيؤثر، فلا تحجبه أبدا لمنع تدريب الذكاء الاصطناعي.

أي زواحف ذكاء اصطناعي أسمح بها؟

إن أردت الظهور في إجابات الذكاء الاصطناعي فاسمح بروبوتات البحث وجلب المستخدم: OAI-SearchBot وChatGPT-User وClaude-SearchBot وClaude-User وPerplexityBot. أما السماح بروبوتات التدريب فخيار منفصل واختياري.

هل تحترم زواحف الذكاء الاصطناعي robots.txt؟

تقول الجهات الكبرى إن زواحفها تتبع robots.txt، لكن أدوات الجلب التي يطلقها المستخدم مثل Perplexity-User قد لا تفعل. ويعتمد الإنفاذ في النهاية على جدار الحماية لديك، ولهذا يفيد اختبار الوصول الحي.