स्टेजिंग ब्लॉक का सत्यापन
सुनिश्चित करें कि खोज अनुक्रमणिकाओं को डुप्लिकेट साइट प्रतियों को अनुक्रमित करने से रोकने के लिए स्टेजिंग, व्यवस्थापक और परीक्षण निर्देशिकाएँ सही ढंग से अवरुद्ध हैं।
SEO टूल्स
Robots.txt टेस्टर
सामान्य निर्देशों का निरीक्षण करने और जोखिम भरे क्रॉल ब्लॉक का पता लगाने के लिए robots.txt सामग्री पेस्ट करें।
कैसे उपयोग करें
- 1
robots.txt सामग्री पेस्ट करें।
- 2
टेस्टर चलाएं।
- 3
निर्देशों और चेतावनियों की समीक्षा करें।
त्वरित उत्तर
Robots.txt Tester सक्रिय नियमों, User-agent लक्ष्यों, साइटमैप लिंक और क्रॉल ब्लॉक को हाइलाइट करने के लिए आपकी robots.txt फ़ाइल को पार्स करता है। Google, Bing, या AI एजेंटों द्वारा आपकी साइट को इंडेक्स करने से पहले क्रॉल कॉन्फ़िगरेशन का ऑडिट करने के लिए यह सबसे अच्छा है।
मुख्य विशेषताएँ
- निर्देश वैधता (Allow, Disallow, Sitemap, Crawl-delay) की जाँच करता है।
- स्पष्ट, मल्टी-क्रॉलर ऑडिटिंग के लिए User-agent ब्लॉक द्वारा नियमों को समूहित करता है।
- रीयल-टाइम में खाली निर्देशों या फ़ॉर्मेटिंग समस्याओं को हाइलाइट करता है।
- पूर्ण साइटमैप URL की पहचान करता है और मानक लेआउट अनुपालन की पुष्टि करता है।
- साइट क्रॉल कॉन्फ़िगरेशन को लीक होने से रोकने के लिए, ब्राउज़र में टेक्स्ट को पूरी तरह से संसाधित करता है।
- उत्पादन DNS, डोमेन या Search Console से शून्य कनेक्शन की आवश्यकता है।
इस टूल के बारे में
किसी साइट की robots.txt फ़ाइल खोज इंजनों और AI स्क्रैपर्स के लिए प्रारंभिक द्वारपाल है, जो उन्हें निर्देश देती है कि उन्हें कहाँ घूमने की अनुमति है और किन निर्देशिकाओं को निजी रहना चाहिए। एक गलत स्लैश, गलत वाइल्डकार्ड स्टार, या विकृत Disallow पथ आपके डोमेन के पूरे अनुभागों को खोज अनुक्रमण से पूरी तरह से अवरुद्ध कर सकता है—या गलती से गुप्त स्टेजिंग निर्देशिकाओं को सार्वजनिक अनुक्रमणिकाओं के सामने उजागर कर सकता है। यह परीक्षक कच्चे रोबोट निर्देशों को स्पष्ट, संरचित तालिकाओं में अनुवादित करता है, यह उजागर करता है कि किन एजेंटों के पास क्रॉल क्लीयरेंस है और आपको खतरनाक क्रॉल-ब्लॉक की चेतावनी देता है। चूँकि सत्यापन आपके स्थानीय ब्राउज़र विंडो के अंदर चलता है, आप अपने नियमों को लाइव तैनात करने से पहले सुरक्षित रूप से ऑफ़लाइन परीक्षण और बदलाव कर सकते हैं।
सामान्य परिदृश्य
AI स्क्रैपर नियमों का ऑडिट करना
आक्रामक AI मॉडल सामग्री स्क्रैपर्स को विशेष रूप से अवरुद्ध या थ्रॉटल करते हुए मुख्यधारा के खोज क्रॉलर को अनुमति देने के लिए कस्टम नियम कॉन्फ़िगर करें।
साइटमैप पथों को मान्य करना
सत्यापित करें कि आपका साइटमैप लिंक पूरी तरह से एक पूर्ण URL के रूप में घोषित किया गया है और उपयोगकर्ता-एजेंट निर्देश ब्लॉक के बाहर सही ढंग से रखा गया है।
सामान्य प्रश्न
क्या यह Google Search Console टेस्टिंग की जगह लेता है?
नहीं। यह गहरी जांच से पहले सामान्य गलतियों के लिए एक त्वरित स्थानीय जांच है।
क्या यह लाइव robots.txt फ़ाइल ला सकता है?
लाइव फ़ेचिंग को बाद में सर्वर-सहायता प्राप्त सुविधा के रूप में जोड़ा जा सकता है।
साइटमैप नियम के लिए मानक प्लेसमेंट क्या है?
एक Sitemap निर्देश User-agent ब्लॉक से स्वतंत्र है। इसे एक पूर्ण URL (उदा. Sitemap: https://yourdomain.com/sitemap.xml) के रूप में घोषित किया जाना चाहिए और आमतौर पर फ़ाइल के बिल्कुल ऊपर या नीचे बैठता है।
क्या क्रॉल-देरी नियम Google द्वारा समर्थित हैं?
नहीं। Googlebot Crawl-delay निर्देशों को पूरी तरह से अनदेखा करता है। हालाँकि, अन्य खोज बॉट (जैसे Bingbot) और छोटे साइट स्क्रैपर अभी भी Crawl-delay सेटिंग्स का समर्थन और सम्मान करते हैं।
क्या मैं वाइल्डकार्ड का परीक्षण कर सकता हूँ?
हाँ। मानक वाइल्डकार्ड (जैसे * और $) आधुनिक खोज इंजनों द्वारा समर्थित हैं और मिलानों का ऑडिट करने के लिए पार्स किए जा सकते हैं।
क्या मेरी क्रॉल फ़ाइल निजी है?
हाँ। सभी robots.txt पार्सिंग को क्लाइंट-साइड JavaScript का उपयोग करके आपकी ब्राउज़र विंडो के भीतर सख्ती से नियंत्रित किया जाता है। आपकी कोई भी निर्देशिका या निर्देश लॉग नहीं किए गए हैं।