Проверка на блокове за тестване
Уверете се, че директориите за тестване, администриране и разработка са блокирани правилно, за да предотвратите индексирането на дублиращи се копия на сайта от индексаторите за търсене.
SEO инструменти
Тестер на Robots.txt
Поставете съдържанието на robots.txt, за да проверите често срещаните директиви и да забележите рискови блокове за обхождане.
Как се използва
- 1
Поставете съдържанието на robots.txt.
- 2
Стартирайте тестера.
- 3
Прегледайте директивите и предупрежденията.
Бърз отговор
Robots.txt Tester анализира вашия файл robots.txt, за да подчертае активни правила, цели на User-agent, връзки към sitemap и блокове за обхождане. Той е най-добър за одит на конфигурации за обхождане, преди Google, Bing или AI агенти да индексират вашия сайт.
Основни функции
- Проверява валидността на директивите (Allow, Disallow, Sitemap, Crawl-delay).
- Групира правилата по блокове на User-agent за ясен одит на множество роботи.
- Подчертава празни директиви или проблеми с форматирането в реално време.
- Идентифицира абсолютни URL адреси на sitemap и проверява съответствието със стандартното оформление.
- Обработва текста изцяло в браузъра, предотвратявайки изтичането на конфигурации за обхождане на сайта.
- Изисква нулеви връзки към производствени DNS, домейни или Search Console.
За този инструмент
Файлът robots.txt на даден сайт е първоначалният пазач за търсачките и AI скрейпърите, като ги инструктира къде им е позволено да се скитат и кои директории трябва да останат частни. Една неправилно поставена наклонена черта, неправилна звезда за заместващ символ или неправилно форматиран път Disallow може напълно да блокира цели секции от вашия домейн от индексиране при търсене — или случайно да изложи тайни директории за тестване на публични индексатори. Този тестер превежда суровите директиви на robots в ясни, структурирани таблици, като подчертава кои агенти имат разрешение за обхождане и ви предупреждава за опасни блокове за обхождане. Тъй като валидирането се изпълнява във вашия локален прозорец на браузъра, можете безопасно да тествате и коригирате правилата си офлайн, преди да ги внедрите на живо.
Чести сценарии
Одит на правила за AI скрейпъри
Конфигурирайте персонализирани правила, за да позволите на основните роботи за търсене, като същевременно специфично блокирате или ограничавате агресивните скрейпъри на съдържание за AI модели.
Валидиране на пътища към sitemap
Уверете се, че връзката към вашия sitemap е напълно декларирана като абсолютен URL адрес и е поставена правилно извън блоковете с директиви за user-agent.
ЧЗВ
Това замества ли тестването в Google Search Console?
Не. Това е бърза локална проверка за често срещани грешки преди по-задълбочено валидиране.
Може ли да извлече активен файл robots.txt?
Извличането в реално време може да бъде добавено по-късно като функция, поддържана от сървъра.
Какво е стандартното разположение за правило за sitemap?
Директивата Sitemap е независима от блоковете на User-agent. Тя трябва да бъде декларирана като абсолютен URL адрес (напр. Sitemap: https://yourdomain.com/sitemap.xml) и обикновено се намира в самия връх или дъно на файла.
Поддържат ли се правилата за crawl-delay от Google?
Не. Googlebot напълно игнорира директивите Crawl-delay. Въпреки това, други ботове за търсене (като Bingbot) и по-малки скрейпъри на сайтове все още поддържат и спазват настройките за Crawl-delay.
Мога ли да тествам заместващи символи?
Да. Стандартните заместващи символи (като * и $) се поддържат от съвременните търсачки и могат да бъдат анализирани за одит на съвпадения.
Личен ли е моят файл за обхождане?
Да. Целият анализ на robots.txt се обработва строго във вашия прозорец на браузъра с помощта на JavaScript от страна на клиента. Нито една от вашите директории или директиви не се записва.