Provera blokova za postavljanje
Uverite se da su direktorijumi za postavljanje, administraciju i testiranje ispravno blokirani kako biste sprečili indekse pretrage da indeksiraju duple kopije sajta.
SEO alati
Robots.txt tester
Nalepite robots.txt sadržaj da biste pregledali uobičajene direktive i uočili rizične blokade pretraživanja.
Kako se koristi
- 1
Nalepite sadržaj robots.txt fajla.
- 2
Pokrenite tester.
- 3
Pregledajte direktive i upozorenja.
Brzi odgovor
Robots.txt Tester parsira vašu robots.txt datoteku da bi istakao aktivna pravila, ciljeve User-agent-a, veze mape sajta i blokove puzanja. Najbolji je za reviziju konfiguracija puzanja pre nego što Google, Bing ili AI agenti indeksiraju vaš sajt.
Ključne funkcije
- Proverava validnost direktiva (Allow, Disallow, Sitemap, Crawl-delay).
- Grupiše pravila po blokovima User-agent-a za jasnu reviziju više puzavaca.
- Ističe prazne direktive ili probleme sa formatiranjem u realnom vremenu.
- Identifikuje apsolutne URL-ove mape sajta i proverava usklađenost sa standardnim rasporedom.
- Obrađuje tekst u potpunosti u pretraživaču, sprečavajući curenje konfiguracija puzanja sajta.
- Ne zahteva veze sa proizvodnim DNS-om, domenima ili Search Console-om.
O ovom alatu
Datoteka robots.txt sajta je početni čuvar kapije za pretraživače i AI strugače, upućujući ih gde im je dozvoljeno da lutaju i koji direktorijumi moraju ostati privatni. Jedna pogrešno postavljena kosa crta, netačna zvezdica džokera ili neispravna Disallow putanja može u potpunosti blokirati čitave delove vašeg domena od indeksiranja pretrage—ili slučajno izložiti tajne direktorijume za postavljanje javnim indekserima. Ovaj tester prevodi sirove robots direktive u jasne, strukturirane tabele, ističući koji agenti imaju odobrenje za puzanje i upozoravajući vas na opasne blokove puzanja. Pošto se validacija pokreće unutar vašeg lokalnog prozora pretraživača, možete bezbedno testirati i prilagođavati svoja pravila oflajn pre nego što ih primenite uživo.
Uobičajeni scenariji
Revizija pravila AI strugača
Konfigurišite prilagođena pravila da biste dozvolili glavnim puzavcima pretrage dok specifično blokirate ili usporavate agresivne strugače sadržaja AI modela.
Validacija putanja mape sajta
Proverite da li je vaša veza mape sajta u potpunosti deklarisana kao apsolutni URL i ispravno postavljena izvan blokova direktiva korisničkog agenta.
Česta pitanja
Da li ovo zamenjuje testiranje u Google Search Console-u?
Ne. To je brza lokalna provera uobičajenih grešaka pre dublje validacije.
Može li da preuzme aktivan robots.txt fajl?
Preuzimanje uživo može biti dodato kasnije kao funkcija podržana od strane servera.
Koji je standardni položaj za pravilo mape sajta?
Sitemap direktiva je nezavisna od blokova User-agent-a. Trebalo bi da bude deklarisana kao apsolutni URL (npr. Sitemap: https://yourdomain.com/sitemap.xml) i obično se nalazi na samom vrhu ili dnu datoteke.
Da li Google podržava pravila crawl-delay?
Ne. Googlebot u potpunosti ignoriše Crawl-delay direktive. Međutim, drugi botovi za pretragu (poput Bingbot-a) i manji strugači sajtova i dalje podržavaju i poštuju postavke Crawl-delay.
Mogu li da testiram džokere?
Da. Standardne džokere (poput * i $) podržavaju moderni pretraživači i mogu se parsirati za reviziju podudaranja.
Da li je moja datoteka puzanja privatna?
Da. Svo parsiranje robots.txt se obrađuje isključivo unutar prozora vašeg pretraživača pomoću JavaScript-a na strani klijenta. Nijedan od vaših direktorijuma ili direktiva se ne evidentira.