مولد robots.txt: أنشئ ملف الموقع في دقيقة واحدة

يخبر ملف robots.txt الزواحف بالأجزاء التي يحق لها جلبها من موقعك. أغلب المواقع تحتاج إلى أسطر قليلة فقط، لكن يجب أن تكون صحيحة تمامًا: شرطة مائلة في غير مكانها قد تحظر الموقع كله، كما أضافت زواحف الذكاء الاصطناعي قرارًا جديدًا: بوتات التدريب أم بوتات البحث؟

يبني مولد robots.txt هذا الملف من إعدادات جاهزة، هي السماح بكل شيء، وحظر مناطق الإدارة، وحظر أو السماح لبوتات تدريب الذكاء الاصطناعي، والسماح لبوتات بحثه، إضافة إلى قواعدك الخاصة وأسطر خريطة الموقع. كل شيء يتم داخل متصفحك، دون تسجيل ودون أي تكلفة.

كيف تنشئ ملف robots.txt

1. اختر إعدادًا جاهزًا

   ابدأ من «السماح بكل شيء» أو «حظر مناطق الإدارة»، ثم حدّد كيف تتعامل مع بوتات تدريب الذكاء الاصطناعي وبوتات بحثه.

2. أضف القواعد وخرائط الموقع

   أضف مسارات Disallow أو Allow مخصصة لزواحف بعينها، مع رابط خريطة موقعك.

3. انسخ وارفع واختبر

   احفظ النتيجة باسم robots.txt في المجلد الجذر لموقعك، ثم اختبر الروابط المهمة قبل الاعتماد عليه.

بنية ملف robots.txt

# القواعد الافتراضية لكل الزواحف
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://example.com/sitemap.xml

• User-agent يبدأ مجموعة قواعد ويحدد اسم الزاحف؛ والرمز * يعني أي زاحف ليست له مجموعة خاصة به.
• Disallow وAllow يأخذان مسارًا يبدأ بـ /. المسارات حساسة لحالة الأحرف وتُطابَق بالبادئة، ويمكن استخدام * و$ كرموز بدل.
• Sitemap يأخذ رابطًا كاملًا ولا يرتبط بأي مجموعة.
• الملف نص عادي بترميز UTF-8 واسمه robots.txt بأحرف صغيرة، ويوضع في جذر النطاق: https://example.com/robots.txt.

إعداد «السماح بالكل» هو أبسط ملف ممكن. كلا الصيغتين التاليتين تعني «ازحف على كل شيء»، وكذلك الملف الفارغ أو عدم وجود ملف أصلًا:

User-agent: *
Disallow:

User-agent: *
Allow: /

لاحظ الفرق الذي يصنعه حرف واحد: Disallow: بلا أي مسار بعده يسمح بكل شيء، بينما Disallow: / يحظر كل شيء. يشرح دليل جوجل لإنشاء ملف robots.txt الصيغة بالتفصيل، ويعرض مدخل robots.txt في قاموسنا الأساسيات.

اختيار سياسة بوتات الذكاء الاصطناعي

زواحف الذكاء الاصطناعي ثلاثة أنواع، وتعاملها الإعدادات الجاهزة كل نوع على حدة:

• بوتات بحث الذكاء الاصطناعي — مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot — تؤرشف الصفحات ليتمكن الذكاء الاصطناعي من الاستشهاد بها وربط إجاباته بها. حظرها قد يُخرج موقعك من تلك الإجابات.
• الجالبات التي يطلقها المستخدم — مثل ChatGPT-User وClaude-User وPerplexity-User — تقرأ الصفحة عندما يسأل شخص عنها. تشير OpenAI إلى أن robots.txt قد لا ينطبق على هذه الطلبات.
• بوتات التدريب ورموزه — مثل GPTBot وClaudeBot وCCBot، إضافة إلى Google-Extended (تدريب Gemini وربط إجاباته بالمصادر) وApplebot-Extended.

الحل الوسط الشائع هو السماح لبوتات البحث وحظر بوتات التدريب:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/

لم تُذكر بوتات البحث هنا بالاسم، لذلك تتبع مجموعة *. وحظر Google-Extended لا يؤثر على بحث جوجل ولا على AI Overviews. تعرّف على طريقة تعامل ملفك الحالي مع كل بوت عبر فاحص زواحف الذكاء الاصطناعي، واقرأ عن عالم زواحف الذكاء الاصطناعي.

أخطاء شائعة في robots.txt

• Disallow: / تحت User-agent: * يمنع كل زاحف ملتزم من الموقع بأكمله، وهو خطأ متكرر يتبقى بعد نقل موقع تجريبي إلى الإنتاج.
• حظر مجلدات CSS وJavaScript التي يحتاجها جوجل لعرض صفحاتك.
• استخدام robots.txt لإخفاء الصفحات من البحث. الروابط المحظورة قد تُؤرشف رغم ذلك بسبب الروابط الواردة إليها؛ استخدم noindex في صفحة مسموح بزحفها بدلًا من ذلك.
• نسيان أن المجموعات المسماة تتجاهل *. إذا أضفت مجموعة لـ Googlebot فكرّر فيها القواعد التي يجب أن يلتزم بها.
• روابط خريطة الموقع النسبية مثل Sitemap: /sitemap.xml؛ استخدم العنوان الكامل.

بعد الرفع، اختبر روابط حقيقية بـأداة اختبار robots.txt، وتأكد من سلامة خريطة الموقع المذكورة فيه عبر فحص خريطة الموقع XML.

نصائح لملف robots.txt آمن

• ابدأ بأقل عدد من الأسطر؛ فكل سطر تضيفه قاعدة يجب أن تتذكرها كلما تغيّر الموقع.
• احظر نتائج البحث الداخلي وتركيبات الفلاتر اللانهائية إذا كانت تولّد آلاف الروابط المتشابهة، فهنا يوفر robots.txt ميزانية الزحف.
• أبقِ حجم الملف أقل من 500 KiB؛ فجوجل يتجاهل ما يزيد على هذا الحد.
• راجع اختياراتك لبوتات الذكاء الاصطناعي مرة أو مرتين في السنة، فزواحف جديدة تظهر وشركات تقسّم بوتاتها أو تغيّر أسماءها.
• احمِ المواقع التجريبية بكلمة مرور بدلًا من «Disallow: /»، حتى لا تنتقل هذه القاعدة إلى الموقع الحقيقي بالخطأ.

حدود يجب مراعاتها

يكتب المولد القواعد بحسب اختياراتك فقط؛ فهو لا يرى موقعك، ولذلك لا يعرف إن كان المسار المحظور يضم صفحات تريد أرشفتها. كما أن robots.txt اختياري التنفيذ: يوجّه الزواحف المنضبطة لكنه لا يمنع أحدًا بالقوة، ولذلك استخدم المصادقة أو قواعد الجدار الناري لهذا الغرض. ترفع الملف بنفسك، ثم تختبره بـأداة اختبار robots.txt.

آخر تحديث: 30‏/10‏/2026 بواسطة فريق Yes SEO.