مدقق زواحف الذكاء الاصطناعي
اعرف لكل روبوت على حدة أي روبوتات الذكاء الاصطناعي يسمح بها ملف robots.txt أو يحظرها، وما إذا كان يمكن الاستشهاد بك في إجابات ChatGPT وClaude وPerplexity.
ما الذي يعرضه المدقق
كل زواحف الذكاء الاصطناعي الرئيسية، مختبرة مقابل قواعد robots.txt لديك.
روبوتات البحث والمستخدم
OAI-SearchBot وChatGPT-User وClaude-SearchBot وPerplexityBot وغيرها مما يحدد الاستشهادات.
روبوتات التدريب
GPTBot وClaudeBot وGoogle-Extended وغيرها مما يجمع البيانات لتدريب النماذج.
نتيجة لكل روبوت
يُقيَّم كل روبوت وفق مجموعته الخاصة في robots.txt، كما تقرؤها الزواحف.
وصول Google
يتأكد من وصول Googlebot إلى الصفحة، لأن ملخصات الذكاء الاصطناعي تستخدم فهرس Google.
كيف يعمل
أدخل رابطًا
صفحة من موقعك، لاختبار القواعد الخاصة بالمسار أيضًا.
نقرأ robots.txt
تُطابَق القواعد لكل روبوت وفق معيار robots.txt.
قرّر ما تسمح به
اسمح لروبوتات البحث لتحصل على الاستشهادات، واحظر روبوتات التدريب إن أردت.
يُفحص robots.txt فقط. قد يظل جدار الحماية أو حماية الروبوتات في شبكة CDN أو تحديد معدل الطلبات يحظر زواحف الذكاء الاصطناعي.
أسئلة شائعة
لا. GPTBot يجمع بيانات التدريب. بحث ChatGPT يستخدم OAI-SearchBot، وChatGPT-User يجلب الصفحات بطلب من المستخدم. يمكنك حظر GPTBot مع استمرار الاستشهاد بك.
حظر روبوتات التدريب خيار مشروع. أما حظر روبوتات البحث والمستخدم فيُخرجك من إجابات الذكاء الاصطناعي، وهو ما تتجنبه معظم المواقع.
لا. يتحكم Google-Extended في الاستخدام لتدريب Gemini وتأصيل إجاباته. أما ملخصات الذكاء الاصطناعي فتأتي من فهرس Google المعتاد.
روابط ذات صلة
تحقق من جاهزيتك الكاملة للبحث بالذكاء الاصطناعي
محتوى يبدأ بالإجابة وإشارات الكيانات والبيانات المنظمة إلى جانب وصول الزواحف.
تشغيل الفحص المجاني