تأیید بلوکهای مرحلهبندی
اطمینان حاصل کنید که دایرکتوریهای مرحلهبندی، مدیریت و آزمایش به درستی مسدود شدهاند تا از فهرستبندی نسخههای تکراری سایت توسط فهرستکنندههای جستجو جلوگیری شود.
ابزارهای SEO
تستکننده Robots.txt
محتوای robots.txt را جایگذاری کنید تا دستورالعملهای رایج را بررسی کرده و مسدودسازیهای پرخطر خزش را شناسایی کنید.
نحوه استفاده
- 1
محتوای robots.txt را جایگذاری کنید.
- 2
تستکننده را اجرا کنید.
- 3
دستورالعملها و هشدارها را بررسی کنید.
پاسخ سریع
آزمایشکننده Robots.txt فایل robots.txt شما را تجزیه میکند تا قوانین فعال، اهداف User-agent، پیوندهای نقشه سایت و بلوکهای خزیدن را برجسته کند. این ابزار برای حسابرسی پیکربندیهای خزیدن قبل از اینکه Google، Bing یا عوامل هوش مصنوعی سایت شما را فهرست کنند، بهترین است.
ویژگیهای کلیدی
- اعتبار دستورالعمل (Allow، Disallow، Sitemap، Crawl-delay) را بررسی میکند.
- قوانین را بر اساس بلوکهای User-agent برای حسابرسی واضح و چند خزندهای گروهبندی میکند.
- دستورالعملهای خالی یا مشکلات قالببندی را در زمان واقعی برجسته میکند.
- URLهای مطلق نقشه سایت را شناسایی میکند و انطباق با طرحبندی استاندارد را تأیید میکند.
- متن را به طور کامل در مرورگر پردازش میکند و از نشت پیکربندیهای خزیدن سایت جلوگیری میکند.
- به هیچ اتصالی به DNS تولید، دامنهها یا Search Console نیاز ندارد.
درباره این ابزار
فایل robots.txt یک سایت، دروازهبان اولیه برای موتورهای جستجو و خراشندههای هوش مصنوعی است که به آنها دستور میدهد کجا مجاز به گشت و گذار هستند و چه دایرکتوریهایی باید خصوصی بمانند. یک اسلش نابجا، ستاره عام نادرست یا مسیر Disallow بدشکل میتواند بخشهای کاملی از دامنه شما را از فهرستبندی جستجو مسدود کند - یا به طور تصادفی دایرکتوریهای مرحلهبندی مخفی را در معرض فهرستکنندههای عمومی قرار دهد. این آزمایشکننده دستورالعملهای خام robots را به جداول واضح و ساختاریافته ترجمه میکند، عواملی را که مجوز خزیدن دارند برجسته میکند و در مورد بلوکهای خزیدن خطرناک به شما هشدار میدهد. از آنجا که اعتبارسنجی در داخل پنجره مرورگر محلی شما اجرا میشود، میتوانید با خیال راحت قوانین خود را قبل از استقرار زنده آنها به صورت آفلاین آزمایش و تنظیم کنید.
سناریوهای رایج
حسابرسی قوانین خراشنده هوش مصنوعی
قوانین سفارشی را پیکربندی کنید تا به خزندههای جستجوی اصلی اجازه دهید در حالی که به طور خاص خراشندههای محتوای مدل هوش مصنوعی تهاجمی را مسدود یا محدود میکنید.
اعتبارسنجی مسیرهای نقشه سایت
تأیید کنید که پیوند نقشه سایت شما به طور کامل به عنوان یک URL مطلق اعلام شده است و به درستی در خارج از بلوکهای دستورالعمل user-agent قرار گرفته است.
سوالات متداول
آیا این جایگزین تست Google Search Console میشود؟
خیر. این یک بررسی محلی سریع برای اشتباهات رایج قبل از اعتبارسنجی عمیقتر است.
آیا میتواند یک فایل robots.txt زنده را دریافت کند؟
دریافت زنده میتواند بعداً به عنوان یک ویژگی با کمک سرور اضافه شود.
مکان استاندارد برای قانون نقشه سایت چیست؟
دستورالعمل Sitemap مستقل از بلوکهای User-agent است. باید به عنوان یک URL مطلق (مثلاً Sitemap: https://yourdomain.com/sitemap.xml) اعلام شود و معمولاً در بالاترین یا پایینترین قسمت فایل قرار میگیرد.
آیا قوانین crawl-delay توسط Google پشتیبانی میشوند؟
خیر. Googlebot دستورالعملهای Crawl-delay را به طور کامل نادیده میگیرد. با این حال، سایر رباتهای جستجو (مانند Bingbot) و خراشندههای سایت جزئی هنوز از تنظیمات Crawl-delay پشتیبانی کرده و به آنها احترام میگذارند.
آیا میتوانم نویسههای عام را آزمایش کنم؟
بله. نویسههای عام استاندارد (مانند * و $) توسط موتورهای جستجوی مدرن پشتیبانی میشوند و میتوانند برای حسابرسی تطابقها تجزیه شوند.
آیا فایل خزیدن من خصوصی است؟
بله. تمام تجزیه robots.txt به شدت در پنجره مرورگر شما با استفاده از جاوا اسکریپت سمت کاربر انجام میشود. هیچ یک از دایرکتوریها یا دستورالعملهای شما ثبت نمیشوند.