أنشئ ملف robots.txt دون حفظ الصياغة عن ظهر قلب
اختر نقطة بداية، وأضف كتل user-agent باستخدام أزرار إضافة سريعة للزواحف والمسارات الشائعة، ثم انسخ الملف النهائي أو نزّله.
User-agent: * Disallow:
ما الذي تغطيه هذه الأداة
التوجيهات التي تتحكم فعليًا في الزحف.
التحكم بزواحف الذكاء الاصطناعي
أزرار إضافة سريعة لـ GPTBot وClaudeBot وPerplexityBot إلى جانب Googlebot وBingbot، للسماح أو الحظر بذات القدر من القصدية المستخدَمة مع زواحف البحث.
تنظيم ميزانية الزحف
أبقِ الزواحف بعيدة عن لوحات الإدارة وصفحات السلة والبحث الداخلي، لتقضي وقتًا أطول في الصفحات التي تريد فهرستها فعلًا.
اكتشاف خريطة الموقع
يضيف توجيه Sitemap: ليجد الزواحف ملف sitemap.xml دون الحاجة لإرساله بشكل منفصل.
كيف تعمل
بدون حساب، بدون استدعاء API - كل شيء يعمل داخل متصفحك.
اختر نقطة بداية
السماح بكل شيء، أو حظر كل شيء، أو البدء بمجموعة قواعد فارغة.
أضف قواعد لكل زاحف
حدّد user-agent، ثم أضف مسارات Disallow/Allow - تغطي أزرار الإضافة السريعة الحالات الشائعة.
انسخ أو نزّل
احصل على النص مباشرة، أو نزّله كملف robots.txt جاهز للرفع إلى جذر موقعك.
الأسئلة الشائعة
في جذر نطاقك - https://example.com/robots.txt. لن تُقرأ في أي مكان آخر، بما في ذلك الأدلة الفرعية.
لا. يطلب Disallow من الزواحف المنضبطة عدم جلب صفحة معيّنة، لكن إذا ارتبطت مواقع أخرى بها، قد تفهرسها Google دون زيارتها. استخدم وسم noindex على الصفحة نفسها إذا احتجت إلى ضمان.
هذا قرار حقيقي وآني بلا إجابة واحدة صحيحة - حظرها يبقي محتواك بعيدًا عن بيانات تدريب تلك الشركة، لكنه يبقيه أيضًا بعيدًا عن واجهات البحث/الإجابة المعتمدة على الذكاء الاصطناعي التي ترسل حركة إحالة متزايدة. قرّر لكل روبوت على حدة، ولا تحظر افتراضيًا.
سطر Disallow: فارغ بلا مسار يعني "عدم حظر أي شيء" - وهو يساوي السماح بكل شيء لذلك الـ user-agent، وهو صياغة صحيحة ومقصودة لكتلة "السماح بكل شيء".
أدوات مجانية أخرى
قراءات ذات صلة
A Practical Guide to robots.txt and Sitemap.xml for SEO and AI Crawlers
What each file actually controls, the mistakes that accidentally block crawlers (human search engines and AI ones alike), and how to verify both are configured correctly.
Technical SEO Audit Checklist: 30+ On-Page & Technical Factors
Titles, canonical tags, structured data, crawlability, redirect chains - a concrete checklist instead of vague 'improve your SEO' advice.
تريد التأكد من أن الزواحف تصل فعليًا إلى صفحاتك؟
نفّذ تدقيقًا مجانيًا لموقعك للتحقق من إمكانية الزحف والفهرسة وجاهزية وكلاء الذكاء الاصطناعي معًا.
تشغيل الفحص المجاني