Provjera blokova za postavljanje
Osigurajte da su direktoriji za postavljanje, administraciju i testiranje ispravno blokirani kako biste spriječili indeksere pretraživanja da indeksiraju duple kopije web lokacije.
SEO alati
Robots.txt tester
Zalijepite sadržaj robots.txt da pregledate uobičajene direktive i uočite rizične blokade pretraživanja.
Kako koristiti
- 1
Zalijepite sadržaj robots.txt datoteke.
- 2
Pokrenite tester.
- 3
Pregledajte direktive i upozorenja.
Brzi odgovor
Robots.txt Tester analizira vašu robots.txt datoteku kako bi istaknuo aktivna pravila, ciljeve User-agenta, veze sitemapa i blokove puzanja. Najbolji je za reviziju konfiguracija puzanja prije nego što Google, Bing ili AI agenti indeksiraju vašu web lokaciju.
Ključne karakteristike
- Provjerava valjanost direktive (Allow, Disallow, Sitemap, Crawl-delay).
- Grupira pravila po blokovima User-agenta za jasnu reviziju s više puzavaca.
- Ističe prazne direktive ili probleme s formatiranjem u stvarnom vremenu.
- Identificira apsolutne URL-ove sitemapa i provjerava usklađenost sa standardnim rasporedom.
- Obrađuje tekst u potpunosti u pregledniku, sprječavajući curenje konfiguracija puzanja web lokacije.
- Zahtijeva nula veza s proizvodnim DNS-om, domenama ili Search Consoleom.
O ovom alatu
Datoteka robots.txt web lokacije je početni čuvar vrata za pretraživače i AI strugače, upućujući ih gdje im je dozvoljeno lutati i koji direktoriji moraju ostati privatni. Jedna pogrešno postavljena kosa crta, neispravna zamjenska zvjezdica ili neispravna Disallow putanja može u potpunosti blokirati cijele dijelove vaše domene od indeksiranja pretraživanja—ili slučajno izložiti tajne direktorije za postavljanje javnim indekserima. Ovaj tester prevodi sirove robotske direktive u jasne, strukturirane tabele, ističući koji agenti imaju odobrenje za puzanje i upozoravajući vas na opasne blokove puzanja. Budući da se validacija pokreće unutar vašeg lokalnog prozora preglednika, možete sigurno testirati i prilagoditi svoja pravila offline prije nego što ih primijenite uživo.
Uobičajeni scenariji
Revizija pravila AI strugača
Konfigurirajte prilagođena pravila kako biste omogućili glavnim puzavcima pretraživanja dok specifično blokirate ili ograničavate agresivne strugače sadržaja AI modela.
Validacija putanja sitemapa
Provjerite je li vaša veza sitemapa u potpunosti deklarirana kao apsolutni URL i ispravno postavljena izvan blokova direktiva korisničkog agenta.
FAQ
Da li ovo zamjenjuje testiranje u Google Search Console-u?
Ne. To je brza lokalna provjera uobičajenih grešaka prije dublje validacije.
Može li preuzeti aktivnu robots.txt datoteku?
Preuzimanje uživo može biti dodato kasnije kao funkcija podržana od strane servera.
Koji je standardni smještaj za pravilo sitemapa?
Direktiva Sitemap je neovisna o blokovima User-agenta. Trebala bi biti deklarirana kao apsolutni URL (npr. Sitemap: https://yourdomain.com/sitemap.xml) i obično se nalazi na samom vrhu ili dnu datoteke.
Podržava li Google pravila odgode puzanja?
Ne. Googlebot u potpunosti ignorira direktive Crawl-delay. Međutim, drugi botovi za pretraživanje (poput Bingbota) i manji strugači web lokacija i dalje podržavaju i poštuju postavke Crawl-delay.
Mogu li testirati zamjenske znakove?
Da. Standardni zamjenski znakovi (poput * i $) podržani su od strane modernih pretraživača i mogu se analizirati za reviziju podudaranja.
Je li moja datoteka puzanja privatna?
Da. Sva analiza robots.txt obrađuje se strogo unutar vašeg prozora preglednika pomoću JavaScripta na strani klijenta. Nijedan od vaših direktorija ili direktiva se ne bilježi.