ஸ்டேஜிங் தொகுதிகளைச் சரிபார்த்தல்
தேடல் அட்டவணைப்படுத்திகள் நகல் தள நகல்களை அட்டவணைப்படுத்துவதைத் தடுக்க, ஸ்டேஜிங், நிர்வாகி மற்றும் சோதனை கோப்பகங்கள் சரியாகத் தடுக்கப்பட்டுள்ளதா என்பதை உறுதிப்படுத்தவும்.
SEO கருவிகள்
Robots.txt சோதனையாளர்
பொதுவான வழிகாட்டுதல்களை ஆய்வு செய்யவும் மற்றும் ஆபத்தான ஊர்ந்து செல்லும் தொகுதிகளைக் கண்டறியவும் robots.txt உள்ளடக்கத்தை ஒட்டவும்.
எப்படி பயன்படுத்துவது
- 1
robots.txt உள்ளடக்கத்தை ஒட்டவும்.
- 2
சோதனையாளரை இயக்கவும்.
- 3
வழிகாட்டுதல்கள் மற்றும் எச்சரிக்கைகளை மதிப்பாய்வு செய்யவும்.
விரைவான பதில்
Robots.txt Tester உங்கள் robots.txt கோப்பை பகுப்பாய்வு செய்து, செயலில் உள்ள விதிகள், User-agent இலக்குகள், sitemap இணைப்புகள் மற்றும் வலம் வரும் தொகுதிகளை (crawl blocks) முன்னிலைப்படுத்துகிறது. Google, Bing அல்லது AI ஏஜெண்டுகள் உங்கள் தளத்தை அட்டவணைப்படுத்துவதற்கு முன், வலம் வரும் உள்ளமைவுகளைத் தணிக்கை செய்ய இது சிறந்தது.
முக்கிய அம்சங்கள்
- வழிகாட்டுதலின் செல்லுபடியை சரிபார்க்கிறது (Allow, Disallow, Sitemap, Crawl-delay).
- தெளிவான, பல-க்ராலர் தணிக்கைக்காக User-agent தொகுதிகள் மூலம் விதிகளைத் தொகுக்கிறது.
- காலியான வழிகாட்டுதல்கள் அல்லது வடிவமைப்பு சிக்கல்களை நிகழ்நேரத்தில் முன்னிலைப்படுத்துகிறது.
- முழுமையான sitemap URL-களை அடையாளம் கண்டு, நிலையான தளவமைப்பு இணக்கத்தை சரிபார்க்கிறது.
- தளத்தின் வலம் வரும் உள்ளமைவுகள் கசிவதைத் தடுத்து, உலாவியிலேயே உரையை முழுமையாகச் செயலாக்குகிறது.
- உற்பத்தி DNS, டொமைன்கள் அல்லது Search Console-க்கு எந்த இணைப்புகளும் தேவையில்லை.
இந்த கருவி பற்றி
ஒரு தளத்தின் robots.txt கோப்பு தேடுபொறிகள் மற்றும் AI ஸ்கிராப்பர்களுக்கான ஆரம்ப வாயிற்காப்பாளராகும், அவை எங்கு செல்ல அனுமதிக்கப்படுகின்றன மற்றும் எந்த கோப்பகங்கள் தனிப்பட்டதாக இருக்க வேண்டும் என்பதை அறிவுறுத்துகிறது. தவறாக வைக்கப்பட்ட ஒரு சாய்வுக்கோடு (slash), தவறான வைல்டு கார்டு நட்சத்திரம் (wildcard star) அல்லது தவறான Disallow பாதை ஆகியவை உங்கள் டொமைனின் முழுப் பிரிவுகளையும் தேடல் அட்டவணைப்படுத்தலில் இருந்து முற்றிலுமாகத் தடுக்கலாம்—அல்லது ரகசிய ஸ்டேஜிங் கோப்பகங்களை பொது அட்டவணைப்படுத்திகளுக்கு தற்செயலாக வெளிப்படுத்தலாம். இந்த சோதனையாளர் மூல ரோபோ வழிகாட்டுதல்களை தெளிவான, கட்டமைக்கப்பட்ட அட்டவணைகளாக மொழிபெயர்க்கிறது, எந்த ஏஜெண்டுகளுக்கு வலம் வர அனுமதி உள்ளது என்பதை முன்னிலைப்படுத்துகிறது மற்றும் ஆபத்தான வலம் வரும் தொகுதிகள் குறித்து உங்களை எச்சரிக்கிறது. சரிபார்ப்பு உங்கள் உள்ளூர் உலாவி சாளரத்திற்குள் இயங்குவதால், அவற்றை நேரலையில் பயன்படுத்துவதற்கு முன்பு உங்கள் விதிகளை ஆஃப்லைனில் பாதுகாப்பாகச் சோதித்து மாற்றியமைக்கலாம்.
பொதுவான சூழ்நிலைகள்
AI ஸ்கிராப்பர் விதிகளைத் தணிக்கை செய்தல்
ஆக்கிரமிப்பு AI மாதிரி உள்ளடக்க ஸ்கிராப்பர்களைக் குறிப்பாகத் தடுக்கும் அல்லது கட்டுப்படுத்தும் அதே வேளையில், முக்கிய தேடல் க்ராலர்களை அனுமதிக்க தனிப்பயன் விதிகளை உள்ளமைக்கவும்.
sitemap பாதைகளைச் சரிபார்த்தல்
உங்கள் sitemap இணைப்பு முழுமையான URL ஆக முழுமையாக அறிவிக்கப்பட்டுள்ளதா மற்றும் user-agent வழிகாட்டுதல் தொகுதிகளுக்கு வெளியே சரியாக வைக்கப்பட்டுள்ளதா என்பதைச் சரிபார்க்கவும்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
இது Google Search Console சோதனையை மாற்றுமா?
இல்லை. இது ஆழமான சரிபார்ப்புக்கு முன் பொதுவான தவறுகளுக்கான விரைவான உள்ளூர் சரிபார்ப்பாகும்.
நேரடி robots.txt கோப்பைப் பெற முடியுமா?
நேரடி பெறுதல் பின்னர் சேவையக உதவியுடனான அம்சமாக சேர்க்கப்படலாம்.
sitemap விதிக்கான நிலையான இடம் என்ன?
ஒரு Sitemap வழிகாட்டுதல் User-agent தொகுதிகளிலிருந்து சுயாதீனமானது. இது ஒரு முழுமையான URL ஆக அறிவிக்கப்பட வேண்டும் (எ.கா. Sitemap: https://yourdomain.com/sitemap.xml) மற்றும் பொதுவாக கோப்பின் மிக மேல் அல்லது கீழ் பகுதியில் இருக்கும்.
Crawl-delay விதிகளை Google ஆதரிக்கிறதா?
இல்லை. Googlebot Crawl-delay வழிகாட்டுதல்களை முற்றிலுமாகப் புறக்கணிக்கிறது. இருப்பினும், பிற தேடல் போட்கள் (Bingbot போன்றவை) மற்றும் சிறிய தள ஸ்கிராப்பர்கள் இன்னும் Crawl-delay அமைப்புகளை ஆதரிக்கின்றன மற்றும் மதிக்கின்றன.
நான் வைல்டு கார்டுகளை (wildcards) சோதிக்க முடியுமா?
ஆம். நிலையான வைல்டு கார்டுகள் (* மற்றும் $ போன்றவை) நவீன தேடுபொறிகளால் ஆதரிக்கப்படுகின்றன மற்றும் பொருத்தங்களைத் தணிக்கை செய்ய பாகுபடுத்தப்படலாம்.
எனது வலம் வரும் (crawl) கோப்பு தனிப்பட்டதா?
ஆம். அனைத்து robots.txt பாகுபடுத்தலும் கிளையன்ட் பக்க JavaScript-ஐப் பயன்படுத்தி உங்கள் உலாவி சாளரத்திற்குள் கண்டிப்பாகக் கையாளப்படுகிறது. உங்கள் கோப்பகங்கள் அல்லது வழிகாட்டுதல்கள் எதுவும் பதிவு செய்யப்படவில்லை.