robots.txt इंस्पेक्टर

robots नीति निरीक्षक

साइट robots.txt लाता है, User-agent समूहों का विश्लेषण करता है, और तुरंत सत्यापित करता है कि क्या किसी पथ को क्रॉल करने की अनुमति है।

ऑनलाइन robots.txt चेक करें, कोई पाथ क्रॉल हो सकता है या नहीं तुरंत देखें।

संबंधित सुझाव

Robots.txt जेनरेटर

IPv6 टूलबॉक्स

MX लुकअप

URL पैरामीटर बिल्डर

समय उपकरण

Slug जनरेटर

उपयोग के मामले

  • पेज इंडेक्स नहीं हो रहा तो पहले कन्फर्म करें कि robots.txt ने उस पाथ को ब्लॉक तो नहीं किया
  • वेबसाइट रीब्रांड के बाद नए क्रॉलर रूल्स एक्सपेक्टेशन के मुताबिक इफेक्टिव हैं या नहीं वेरिफाई करें, ओल्ड रूल्स रेमनेंट न हों
  • स्पेसिफिक URL पाथ टारगेट क्रॉलर के लिए अलाउ है या नहीं टेस्ट करें, Allow/Disallow कॉन्फ़िगरेशन कन्फर्म करें
  • Sitemap डिक्लेरेशन एक्सट्रैक्ट करें और कन्फर्म करें कि साइटमैप एड्रेस सही से कॉन्फ़िगर है ताकि सर्च इंजन डिस्कवर कर सके

उपयोग कैसे करें

  1. वेबसाइट डोमेन या robots.txt का फुल URL एड्रेस डालें
  2. टूल ऑटोमैटिकली robots.txt कंटेंट फेच और पार्स करके स्ट्रक्चर्ड डिस्प्ले करता है
  3. टेस्ट करने वाला पाथ डालें और देखें कि टारगेट क्रॉलर के लिए अलाउ है या नहीं
  4. Sitemap डिक्लेरेशन और कंप्लीट रूल स्ट्रक्चर देखें SEO ऑप्टिमाइज़ेशन और ट्रबलशूटिंग के लिए

विशेषताएं

  • स्पेसिफिक पाथ अलाउ है या नहीं डायरेक्ट जज करें: मैन्युअली रूल एनालाइज़ न करें
  • इंडेक्सिंग एबनॉर्मल के लिए पहले यहाँ चेक करें: डायरेक्ट्री मिसब्लॉक, रूल मिसकॉन्फ़िगर आसानी से मिस हो जाते हैं
  • Sitemap डिक्लेरेशन साथ ही देखें: क्रॉल रूल्स और साइटमैप इनफो एक साथ वेरिफाई करें
  • रीब्रांड के बाद रीचेक करें: CMS अपडेट, डायरेक्ट्री एडजस्टमेंट, रूल चेंज के बाद प्रॉब्लम टाइमली डिस्कवर करें

सामान्य प्रश्न

कैसे जज करें कि कोई पेज robots.txt द्वारा ब्लॉक तो नहीं है?

टारगेट एड्रेस और पाथ डालने के बाद करंट रूल्स के बेसिस पर जज कर सकते हैं कि स्पेसिफिक क्रॉलर के लिए एक्सेस अलाउ है या नहीं। यह सिर्फ रूल्स पढ़ने से ज़्यादा रिलायबल है।

क्या पेज इंडेक्स न होने का कारण robots.txt हो सकता है?

हाँ। अगर robots.txt ने रिलेटेड डायरेक्ट्री या पाथ को ब्लॉक किया है तो सर्च इंजन पेज कंटेंट को नॉर्मली क्रॉल नहीं कर पाएगा। पहले रूल्स चेक करना ज़रूरी है कि मिसब्लॉक तो नहीं हुआ।

क्या Sitemap या दूसरे डिक्लेरेशन्स एक्सट्रैक्ट कर सकते हैं?

हाँ। क्रॉल रूल्स के अलावा, कई robots.txt फाइल्स में Sitemap एड्रेस डिक्लेयर होता है। यह साइट चेक और SEO डायग्नोसिस में भी हेल्पफुल है।

क्या वेबसाइट लाइव के बाद रेगुलरली चेक करना चाहिए?

हाँ। खासकर साइट रीब्रांड, डायरेक्ट्री एडजस्टमेंट, CMS अपडेट के बाद robots रूल्स रीचेक करना चाहिए कि कोई अनएक्सपेक्टेड चेंज तो नहीं आया।