Ověření bloků stagingu
Zajistěte, aby byly adresáře stagingu, administrace a testování správně zablokovány, aby se zabránilo indexátorům vyhledávání v indexování duplicitních kopií webu.
SEO nástroje
Tester robots.txt
Vložte obsah robots.txt pro kontrolu běžných direktiv a odhalení rizikových blokování procházení.
Jak používat
- 1
Vložte obsah souboru robots.txt.
- 2
Spusťte tester.
- 3
Zkontrolujte direktivy a varování.
Rychlá odpověď
Tester robots.txt analyzuje váš soubor robots.txt a zvýrazňuje aktivní pravidla, cíle User-agent, odkazy na sitemapy a blokování procházení. Je nejlepší pro audit konfigurací procházení předtím, než Google, Bing nebo agenti AI indexují váš web.
Klíčové funkce
- Kontroluje platnost direktiv (Allow, Disallow, Sitemap, Crawl-delay).
- Seskupuje pravidla podle bloků User-agent pro jasný audit více prohledávačů.
- Zvýrazňuje prázdné direktivy nebo problémy s formátováním v reálném čase.
- Identifikuje absolutní adresy URL sitemap a ověřuje shodu se standardním rozložením.
- Zpracovává text plně v prohlížeči, čímž zabraňuje úniku konfigurací procházení webu.
- Nevyžaduje žádné připojení k produkčnímu DNS, doménám nebo Search Console.
O tomto nástroji
Soubor robots.txt webu je počátečním strážcem pro vyhledávače a AI scrapers, který jim dává pokyny, kam mohou jít a jaké adresáře musí zůstat soukromé. Jediné špatně umístěné lomítko, nesprávná zástupná hvězdička nebo chybně formátovaná cesta Disallow může zcela zablokovat celé sekce vaší domény před indexováním ve vyhledávání – nebo náhodně odhalit tajné testovací adresáře veřejným indexátorům. Tento tester překládá surové direktivy robots do jasných, strukturovaných tabulek, zvýrazňuje, kteří agenti mají povolení k procházení, a varuje vás před nebezpečnými bloky procházení. Protože validace probíhá uvnitř okna vašeho lokálního prohlížeče, můžete svá pravidla bezpečně otestovat a upravit offline před jejich nasazením do ostrého provozu.
Běžné scénáře
Audit pravidel pro AI scrapers
Nakonfigurujte vlastní pravidla, která povolí hlavní prohledávače vyhledávání a zároveň specificky zablokují nebo omezí agresivní scrapers obsahu modelů AI.
Ověření cest k sitemapám
Ověřte, že je váš odkaz na sitemapu plně deklarován jako absolutní URL a umístěn správně mimo bloky direktiv user-agent.
FAQ
Nahrazuje to testování v Google Search Console?
Ne. Jde o rychlou lokální kontrolu běžných chyb před hlubší validací.
Dokáže načíst živý soubor robots.txt?
Živé načítání může být přidáno později jako funkce podporovaná serverem.
Jaké je standardní umístění pravidla pro sitemapu?
Direktiva Sitemap je nezávislá na blocích User-agent. Měla by být deklarována jako absolutní URL (např. Sitemap: https://vasedomena.cz/sitemap.xml) a obvykle se nachází úplně nahoře nebo dole v souboru.
Podporuje Google pravidla crawl-delay?
Ne. Googlebot direktivy Crawl-delay zcela ignoruje. Nicméně ostatní vyhledávací boti (jako Bingbot) a menší scrapers webů nastavení Crawl-delay stále podporují a respektují.
Mohu testovat zástupné znaky?
Ano. Standardní zástupné znaky (jako * a $) jsou podporovány moderními vyhledávači a lze je analyzovat pro audit shod.
Je můj soubor procházení soukromý?
Ano. Veškeré parsování robots.txt je zpracováváno výhradně v okně vašeho prohlížeče pomocí JavaScriptu na straně klienta. Žádné z vašich adresářů nebo direktiv nejsou protokolovány.