مولّد Robots.txt
قوالب جاهزة:
مرجع سريع
User-agent: * | جميع الروبوتات |
Disallow: /path/ | حجب المسار |
Allow: /path/ | السماح بمسار ضمن محجوب |
Crawl-delay: 10 | تأخير بين الطلبات |
Sitemap: URL | مسار ملف Sitemap |
Host: domain.com | الدومين المفضّل |
# تعليق | سطر تعليق |
اختر قالباً أو أنشئ robots.txt مخصصاً
جلب وتحليل robots.txt مباشر
أداة
اختبار الوصول للرابط
أداة
هل robots.txt يسمح أم يحجب رابطاً معيناً؟
موقع
/path
عارض Sitemap XML
LTR
التحقق من صحة robots.txt
أداة
الصق محتوى robots.txt للتحقق من صحة الأسطر: