Provjera blokova za postavljanje
Osigurajte da su direktoriji za postavljanje, administraciju i testiranje ispravno blokirani kako biste spriječili indeksatore pretraživanja da indeksiraju duple kopije web-mjesta.
SEO alati
Tester za Robots.txt
Zalijepite sadržaj robots.txt kako biste pregledali uobičajene direktive i uočili rizične blokade puzanja.
Kako koristiti
- 1
Zalijepite sadržaj datoteke robots.txt.
- 2
Pokrenite tester.
- 3
Pregledajte direktive i upozorenja.
Brzi odgovor
Robots.txt Tester analizira vašu datoteku robots.txt kako bi istaknuo aktivna pravila, ciljeve User-agenta, veze sitemapa i blokove indeksiranja. Najbolji je za reviziju konfiguracija indeksiranja prije nego što Google, Bing ili AI agenti indeksiraju vaše web-mjesto.
Ključne značajke
- Provjerava valjanost direktiva (Allow, Disallow, Sitemap, Crawl-delay).
- Grupira pravila prema blokovima User-agenta za jasnu reviziju više alata za indeksiranje.
- Ističe prazne direktive ili probleme s formatiranjem u stvarnom vremenu.
- Identificira apsolutne URL-ove sitemapa i provjerava usklađenost sa standardnim rasporedom.
- Obrađuje tekst u potpunosti u pregledniku, sprječavajući curenje konfiguracija indeksiranja web-mjesta.
- Zahtijeva nula veza s produkcijskim DNS-om, domenama ili Search Consoleom.
O ovom alatu
Datoteka robots.txt web-mjesta početni je čuvar vrata za tražilice i AI strugače, upućujući ih kamo smiju lutati i koji direktoriji moraju ostati privatni. Jedna pogrešno postavljena kosa crta, netočna zamjenska zvjezdica ili neispravna Disallow putanja može u potpunosti blokirati cijele odjeljke vaše domene od indeksiranja pretraživanja—ili slučajno izložiti tajne direktorije za postavljanje javnim indeksatorima. Ovaj tester prevodi sirove robots direktive u jasne, strukturirane tablice, ističući koji agenti imaju odobrenje za indeksiranje i upozoravajući vas na opasne blokove indeksiranja. Budući da se provjera valjanosti izvodi unutar vašeg lokalnog prozora preglednika, možete sigurno testirati i prilagoditi svoja pravila izvan mreže prije nego što ih primijenite uživo.
Uobičajeni scenariji
Revizija pravila AI strugača
Konfigurirajte prilagođena pravila kako biste omogućili glavne alate za indeksiranje pretraživanja, a istovremeno posebno blokirali ili ograničili agresivne strugače sadržaja AI modela.
Provjera valjanosti putanja sitemapa
Provjerite je li vaša veza sitemapa u potpunosti deklarirana kao apsolutni URL i ispravno postavljena izvan blokova direktiva korisničkog agenta.
Česta pitanja
Zamjenjuje li ovo testiranje u Google Search Consoleu?
Ne. To je brza lokalna provjera uobičajenih pogrešaka prije dublje provjere.
Može li dohvatiti aktivnu datoteku robots.txt?
Dohvaćanje uživo može se dodati kasnije kao značajka potpomognuta poslužiteljem.
Koji je standardni smještaj za pravilo sitemapa?
Direktiva Sitemap neovisna je o blokovima User-agenta. Trebala bi biti deklarirana kao apsolutni URL (npr. Sitemap: https://yourdomain.com/sitemap.xml) i obično se nalazi na samom vrhu ili dnu datoteke.
Podržava li Google pravila odgode indeksiranja?
Ne. Googlebot u potpunosti ignorira direktive Crawl-delay. Međutim, drugi botovi za pretraživanje (poput Bingbota) i manji strugači web-mjesta i dalje podržavaju i poštuju postavke Crawl-delay.
Mogu li testirati zamjenske znakove?
Da. Standardne zamjenske znakove (poput * i $) podržavaju moderne tražilice i mogu se analizirati radi revizije podudaranja.
Je li moja datoteka indeksiranja privatna?
Da. Sva analiza robots.txt obrađuje se strogo unutar vašeg prozora preglednika pomoću JavaScripta na strani klijenta. Nijedan od vaših direktorija ili direktiva se ne bilježi.