ما المقصود بـملف robots.txt؟

robots.txt ملف نصي بسيط يُقدَّم من جذر المضيف — https://example.com/robots.txt — ويخبر الزواحف بالمسارات التي يجوز لها جلبها. وبعد قرابة ثلاثة عقود كان فيها عرفًا غير رسمي، جرى توحيده معيارًا باسم بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol) في الوثيقة RFC 9309 عام 2022.

الصيغة في مثال واحد

User-agent: *
Disallow: /cart/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

تبدأ كل مجموعة بسطر User-agent واحد أو أكثر تليه القواعد. ولا يلتزم الزاحف إلا بأكثر المجموعات تحديدًا التي تسميه، لذا يتجاهل GPTBot في المثال أعلاه المجموعة * تمامًا. والمسارات حساسة لحالة الأحرف وتُطابَق من بداية مسار الرابط؛ وترمز * إلى أي تسلسل من الأحرف، وتشير $ إلى نهاية الرابط.

كيف تحل جوجل التعارضات

تطبّق جوجل القاعدة الأطول مطابقةً. فبالنسبة إلى /search/help تتغلب Allow: /search/help على Disallow: /search الأقصر. وحين تتطابق قاعدتا Allow وDisallow بالطول نفسه، تفوز Allow الأقل تقييدًا. وتتجاهل جوجل crawl-delay ولا تقرأ إلا أول 500 كيلوبايت (KiB) من الملف — راجع كيف تفسّر جوجل ملف robots.txt.

الزحف ليس فهرسة

هذا هو سوء الفهم الأكثر ضررًا. ملف robots.txt يمنع الجلب لا الفهرسة. فقد يظهر في النتائج رابط ممنوع تربط إليه مواقع أخرى، وعادةً بدون وصف. ولإبقاء صفحة خارج الفهرس، اسمح بزحفها واستخدم noindex؛ فقد توقفت جوجل عن احترام أسطر noindex داخل robots.txt عام 2019.

robots.txt والبحث بالذكاء الاصطناعي

تنشر معظم شركات الذكاء الاصطناعي وكلاء مستخدم (user-agents) منفصلين بحسب الغرض، فتستطيع رفض تدريب النماذج مع البقاء ظاهرًا في إجابات الذكاء الاصطناعي. يمكنك مثلًا حظر GPTBot (تدريب OpenAI) والسماح بـOAI-SearchBot (بحث ChatGPT)، أو حظر ClaudeBot والسماح بـClaude-SearchBot. ويتحكم Google-Extended في استخدام محتواك لتدريب Gemini وإسناد إجاباته (grounding)؛ ولا أثر له في بحث جوجل ولا في نظرة الذكاء الاصطناعي العامة. وللمزيد راجع زاحف الذكاء الاصطناعي.

أخطاء شائعة

• بقاء Disallow: / منقولًا من موقع التجريب (staging) إلى الإنتاج.
• حظر مجلدات CSS وJavaScript، فلا تستطيع جوجل عرض الصفحة عرضًا صحيحًا.
• استخدام robots.txt لإخفاء مناطق خاصة. الملف عام ويدل مباشرةً على ما تريد إخفاءه — استخدم المصادقة بدلًا منه.
• افتراض أن ملفًا واحدًا يغطي كل النطاقات الفرعية. فلكل مضيف ولكل بروتوكول ملفه.
• ملف robots.txt يعيد خطأ خادم. تعامل جوجل استجابة 5xx كأنها «امنع كل شيء» لفترة، فيتوقف الزحف.

اختبر ملفك

تجلب أداة اختبار robots.txt ملفك وتحلله، وتختبر أي رابط مقابل Googlebot وBingbot وزواحف الذكاء الاصطناعي بمنطق جوجل للمطابقة الأطول، وتُبرز القاعدة المطابقة بدقة، إضافة إلى أخطاء الصيغة وأسطر خريطة الموقع. ولفهم من يقرأ الملف أصلًا، راجع زاحف الويب.

الأسئلة الشائعة