Overenie blokovania testovacích prostredí
Uistite sa, že testovacie (staging), administrátorské a skúšobné adresáre sú správne zablokované, aby ste zabránili indexátorom vyhľadávania v indexovaní duplicitných kópií webu.
SEO nástroje
Tester Robots.txt
Vložte obsah robots.txt na kontrolu bežných direktív a odhalenie rizikových blokovaní prehľadávania.
Ako používať
- 1
Vložte obsah súboru robots.txt.
- 2
Spustite tester.
- 3
Skontrolujte direktívy a varovania.
Rýchla odpoveď
Robots.txt Tester analyzuje váš súbor robots.txt a zvýrazňuje aktívne pravidlá, ciele User-agent, odkazy na mapy webu a blokovania prehľadávania. Je ideálny na audit konfigurácií prehľadávania predtým, ako Google, Bing alebo AI agenti zaindexujú váš web.
Kľúčové funkcie
- Kontroluje platnosť direktív (Allow, Disallow, Sitemap, Crawl-delay).
- Zoskupuje pravidlá podľa blokov User-agent pre jasný audit viacerých prehľadávačov.
- V reálnom čase zvýrazňuje prázdne direktívy alebo problémy s formátovaním.
- Identifikuje absolútne adresy URL máp webu a overuje súlad so štandardným rozložením.
- Spracováva text výlučne v prehliadači, čím zabraňuje úniku konfigurácií prehľadávania webu.
- Nevyžaduje žiadne pripojenia k produkčným DNS, doménam ani k službe Search Console.
O tomto nástroji
Súbor robots.txt webu je počiatočným strážcom pre vyhľadávače a AI scrapery, ktorý im dáva pokyny, kde sa môžu pohybovať a ktoré adresáre musia zostať súkromné. Jediné nesprávne umiestnené lomítko, nesprávna hviezdička (wildcard) alebo nesprávne naformátovaná cesta Disallow môže úplne zablokovať indexovanie celých sekcií vašej domény vo vyhľadávaní – alebo náhodne odhaliť tajné testovacie adresáre verejným indexátorom. Tento tester prekladá surové direktívy robots do jasných, štruktúrovaných tabuliek, pričom zvýrazňuje, ktorí agenti majú povolenie na prehľadávanie, a varuje vás pred nebezpečnými blokovaniami prehľadávania. Keďže validácia prebieha vo vašom lokálnom okne prehliadača, môžete svoje pravidlá bezpečne testovať a upravovať offline pred ich nasadením do ostrej prevádzky.
Bežné scenáre
Audit pravidiel pre AI scrapery
Nakonfigurujte vlastné pravidlá, ktoré povolia hlavné vyhľadávacie prehľadávače, pričom špecificky zablokujú alebo obmedzia agresívne scrapery obsahu pre AI modely.
Validácia ciest k mapám webu
Overte, či je váš odkaz na mapu webu plne deklarovaný ako absolútna adresa URL a správne umiestnený mimo blokov direktív user-agent.
Časté otázky
Nahrádza to testovanie v Google Search Console?
Nie. Je to rýchla lokálna kontrola bežných chýb pred hlbšou validáciou.
Dokáže načítať živý súbor robots.txt?
Živé načítanie môže byť pridané neskôr ako funkcia podporovaná serverom.
Aké je štandardné umiestnenie pravidla pre mapu webu?
Direktíva Sitemap je nezávislá od blokov User-agent. Mala by byť deklarovaná ako absolútna adresa URL (napr. Sitemap: https://vasadomena.sk/sitemap.xml) a zvyčajne sa nachádza úplne hore alebo dole v súbore.
Podporuje Google pravidlá crawl-delay?
Nie. Googlebot úplne ignoruje direktívy Crawl-delay. Iné vyhľadávacie roboty (napríklad Bingbot) a menšie scrapery webov však nastavenia Crawl-delay stále podporujú a rešpektujú.
Môžem testovať zástupné znaky (wildcards)?
Áno. Štandardné zástupné znaky (ako * a $) sú podporované modernými vyhľadávačmi a dajú sa analyzovať na audit zhôd.
Je môj súbor prehľadávania súkromný?
Áno. Všetko spracovanie súboru robots.txt prebieha výlučne vo vašom okne prehliadača pomocou JavaScriptu na strane klienta. Žiadne z vašich adresárov ani direktív sa nezaznamenávajú.