Потврдување на блокови за тестирање
Осигурајте се дека директориумите за тестирање, администрација и тест се правилно блокирани за да се спречи индексаторите на пребарување да индексираат дупликат копии на сајтот.
SEO алатки
Тестер на Robots.txt
Залепете ја содржината на robots.txt за да ги проверите вообичаените директиви и да ги забележите ризичните блокови за пребарување.
Како се користи
- 1
Залепете ја содржината на robots.txt.
- 2
Стартувајте го тестерот.
- 3
Прегледајте ги директивите и предупредувањата.
Брз одговор
Robots.txt Tester ја парсира вашата robots.txt датотека за да ги истакне активните правила, целите на User-agent, врските до мапата на сајтот и блоковите за попишување. Најдобар е за ревизија на конфигурациите за попишување пред Google, Bing или AI агентите да го индексираат вашиот сајт.
Клучни карактеристики
- Ја проверува валидноста на директивите (Allow, Disallow, Sitemap, Crawl-delay).
- Ги групира правилата по блокови на User-agent за јасна ревизија на повеќе попишувачи.
- Ги истакнува празните директиви или проблемите со форматирањето во реално време.
- Ги идентификува апсолутните URL-адреси на мапата на сајтот и ја потврдува усогласеноста со стандардниот распоред.
- Целосно го обработува текстот во прелистувачот, спречувајќи протекување на конфигурациите за попишување на сајтот.
- Не бара никакви врски со продукциски DNS, домени или Search Console.
За оваа алатка
Датотеката robots.txt на сајтот е почетниот чувар за пребарувачите и AI стругачите, кој им дава инструкции каде им е дозволено да се движат и кои директориуми мора да останат приватни. Една погрешно поставена коса црта, неточна ѕвездичка за џокер или лошо форматирана патека Disallow може целосно да блокира цели делови од вашиот домен од индексирање во пребарувањето—или случајно да изложи тајни директориуми за тестирање на јавни индексатори. Овој тестер ги преведува суровите директиви на robots во јасни, структурирани табели, истакнувајќи кои агенти имаат дозвола за попишување и предупредувајќи ве за опасни блокови за попишување. Бидејќи валидацијата се извршува внатре во прозорецот на вашиот локален прелистувач, можете безбедно да ги тестирате и прилагодувате вашите правила офлајн пред да ги распоредите во живо.
Вообичаени сценарија
Ревизија на правила за AI стругачи
Конфигурирајте прилагодени правила за да дозволите мејнстрим попишувачи на пребарување додека специфично блокирате или ограничувате агресивни стругачи на содржина од AI модели.
Валидација на патеки на мапата на сајтот
Потврдете дека врската до вашата мапа на сајтот е целосно декларирана како апсолутна URL-адреса и правилно поставена надвор од блоковите на директиви за кориснички агенти.
ЧПП
Дали ова го заменува тестирањето во Google Search Console?
Не. Тоа е брза локална проверка за вообичаени грешки пред подлабока валидација.
Дали може да преземе активна датотека robots.txt?
Преземањето во живо може да се додаде подоцна како функција поддржана од сервер.
Кое е стандардното поставување за правило за мапа на сајтот?
Директивата Sitemap е независна од блоковите на User-agent. Таа треба да биде декларирана како апсолутна URL-адреса (на пр. Sitemap: https://yourdomain.com/sitemap.xml) и обично се наоѓа на самиот врв или дно на датотеката.
Дали правилата за crawl-delay се поддржани од Google?
Не. Googlebot целосно ги игнорира директивите Crawl-delay. Сепак, другите ботови за пребарување (како Bingbot) и помалите стругачи на сајтови сè уште ги поддржуваат и почитуваат поставките за Crawl-delay.
Може ли да тестирам џокери?
Да. Стандардните џокери (како * и $) се поддржани од модерните пребарувачи и можат да се парсираат за ревизија на совпаѓања.
Дали мојата датотека за попишување е приватна?
Да. Целото парсирање на robots.txt се ракува строго во прозорецот на вашиот прелистувач користејќи JavaScript од страна на клиентот. Ниту еден од вашите директориуми или директиви не се логира.