স্টেজিং ব্লক যাচাই করা
সার্চ ইনডেক্সারদের ডুপ্লিকেট সাইট কপি ইনডেক্স করা থেকে বিরত রাখতে স্টেজিং, অ্যাডমিন এবং টেস্ট ডিরেক্টরিগুলি সঠিকভাবে ব্লক করা হয়েছে তা নিশ্চিত করুন।
SEO সরঞ্জাম
Robots.txt টেস্টার
সাধারণ নির্দেশিকাগুলি পরিদর্শন করতে এবং ঝুঁকিপূর্ণ ক্রল ব্লকগুলি চিহ্নিত করতে robots.txt কন্টেন্ট পেস্ট করুন।
কীভাবে ব্যবহার করবেন
- 1
robots.txt কন্টেন্ট পেস্ট করুন।
- 2
টেস্টার চালান।
- 3
নির্দেশিকা এবং সতর্কতাগুলি পর্যালোচনা করুন।
দ্রুত উত্তর
Robots.txt Tester আপনার robots.txt ফাইল পার্স করে সক্রিয় নিয়ম, User-agent লক্ষ্য, সাইটম্যাপ লিঙ্ক এবং ক্রল ব্লকগুলি হাইলাইট করে। Google, Bing বা AI এজেন্টরা আপনার সাইট ইনডেক্স করার আগে ক্রল কনফিগারেশন অডিট করার জন্য এটি সেরা।
মূল বৈশিষ্ট্য
- নির্দেশিকার বৈধতা পরীক্ষা করে (Allow, Disallow, Sitemap, Crawl-delay)।
- স্পষ্ট, মাল্টি-ক্রলার অডিটিংয়ের জন্য User-agent ব্লক দ্বারা নিয়মগুলিকে গ্রুপ করে।
- রিয়েল-টাইমে খালি নির্দেশিকা বা ফর্ম্যাটিং সমস্যাগুলি হাইলাইট করে।
- পরম সাইটম্যাপ URL গুলি সনাক্ত করে এবং স্ট্যান্ডার্ড লেআউট সম্মতি যাচাই করে।
- সম্পূর্ণরূপে ইন-ব্রাউজারে টেক্সট প্রক্রিয়া করে, সাইট ক্রল কনফিগারেশন ফাঁস হওয়া থেকে বাধা দেয়।
- প্রোডাকশন DNS, ডোমেন বা Search Console-এর সাথে কোনো সংযোগের প্রয়োজন নেই।
এই টুল সম্পর্কে
একটি সাইটের robots.txt ফাইল হলো সার্চ ইঞ্জিন এবং AI স্ক্র্যাপারদের জন্য প্রাথমিক দারোয়ান, যা তাদের নির্দেশ দেয় কোথায় তাদের ঘোরার অনুমতি আছে এবং কোন ডিরেক্টরিগুলি ব্যক্তিগত থাকতে হবে। একটি ভুল স্ল্যাশ, ভুল ওয়াইল্ডকার্ড স্টার বা ত্রুটিপূর্ণ Disallow পাথ আপনার ডোমেনের সম্পূর্ণ বিভাগগুলিকে সার্চ ইনডেক্সিং থেকে সম্পূর্ণভাবে ব্লক করতে পারে—বা দুর্ঘটনাবশত গোপন স্টেজিং ডিরেক্টরিগুলি পাবলিক ইনডেক্সারদের কাছে প্রকাশ করতে পারে। এই টেস্টার কাঁচা রোবট নির্দেশিকাগুলিকে স্পষ্ট, কাঠামোগত টেবিলে অনুবাদ করে, হাইলাইট করে কোন এজেন্টদের ক্রল করার ছাড়পত্র আছে এবং আপনাকে বিপজ্জনক ক্রল-ব্লক সম্পর্কে সতর্ক করে। যেহেতু বৈধতা আপনার স্থানীয় ব্রাউজার উইন্ডোর ভিতরে চলে, আপনি লাইভ মোতায়েন করার আগে নিরাপদে আপনার নিয়মগুলি অফলাইনে পরীক্ষা এবং পরিবর্তন করতে পারেন।
সাধারণ পরিস্থিতি
AI স্ক্র্যাপার নিয়ম অডিট করা
আক্রমনাত্মক AI মডেল কন্টেন্ট স্ক্র্যাপারদের বিশেষভাবে ব্লক বা থ্রোটল করার সময় মূলধারার সার্চ ক্রলারদের অনুমতি দেওয়ার জন্য কাস্টম নিয়ম কনফিগার করুন।
সাইটম্যাপ পাথ যাচাই করা
যাচাই করুন যে আপনার সাইটম্যাপ লিঙ্কটি একটি পরম URL হিসাবে সম্পূর্ণরূপে ঘোষণা করা হয়েছে এবং ইউজার-এজেন্ট নির্দেশিকা ব্লকের বাইরে সঠিকভাবে স্থাপন করা হয়েছে।
সাধারণ জিজ্ঞাসা
এটি কি Google Search Console টেস্টিং প্রতিস্থাপন করে?
না। এটি গভীরভাবে যাচাই করার আগে সাধারণ ভুলগুলির জন্য একটি দ্রুত লোকাল চেক।
এটি কি একটি লাইভ robots.txt ফাইল ফেচ করতে পারে?
লাইভ ফেচিং পরে একটি সার্ভার-সহায়তা বৈশিষ্ট্য হিসাবে যোগ করা যেতে পারে।
একটি সাইটম্যাপ নিয়মের জন্য স্ট্যান্ডার্ড প্লেসমেন্ট কী?
একটি Sitemap নির্দেশিকা User-agent ব্লক থেকে স্বাধীন। এটি একটি পরম URL হিসাবে ঘোষণা করা উচিত (যেমন Sitemap: https://yourdomain.com/sitemap.xml) এবং সাধারণত ফাইলের একেবারে উপরে বা নীচে থাকে।
ক্রল-ডিলি নিয়মগুলি কি Google দ্বারা সমর্থিত?
না। Googlebot Crawl-delay নির্দেশিকাগুলি সম্পূর্ণভাবে উপেক্ষা করে। তবে, অন্যান্য সার্চ বট (যেমন Bingbot) এবং ছোট সাইট স্ক্র্যাপাররা এখনও Crawl-delay সেটিংস সমর্থন করে এবং সম্মান করে।
আমি কি ওয়াইল্ডকার্ড পরীক্ষা করতে পারি?
হ্যাঁ। স্ট্যান্ডার্ড ওয়াইল্ডকার্ড (যেমন * এবং $) আধুনিক সার্চ ইঞ্জিন দ্বারা সমর্থিত এবং ম্যাচগুলি অডিট করার জন্য পার্স করা যেতে পারে।
আমার ক্রল ফাইল কি ব্যক্তিগত?
হ্যাঁ। সমস্ত robots.txt পার্সিং ক্লায়েন্ট-সাইড JavaScript ব্যবহার করে কঠোরভাবে আপনার ব্রাউজার উইন্ডোর মধ্যে পরিচালিত হয়। আপনার কোনো ডিরেক্টরি বা নির্দেশিকা লগ করা হয় না।