ملف robots.txt هو ملف نصي موجود في جذر موقع الويب الخاص بك. إنه أول شيء يبحث عنه روبوت محرك البحث. يعمل كعلامة "ممنوع الدخول" لموقعك.
يساعدك مولد robots.txt على إنشاء قواعد صالحة.
لماذا نستخدمه؟
1. الخصوصية
لا تريد أن تظهر لوحة المسؤول (/admin/) في نتائج بحث Google.
2. توفير ميزانية الزحف
لا تضيع وقت Google في صفحات منخفضة القيمة.
3. حظر الروبوتات السيئة
تقوم بعض الروبوتات بنسخ المحتوى الخاص بك لسرقته. يمكنك حظرها صراحة.
الأوامر الرئيسية
User-agent: *: ينطبق على جميع الروبوتات.Disallow: /private/: لا تنظر داخل هذا المجلد.Sitemap: https://...: يخبر الروبوت بمكان خريطة الموقع.