Preverjanje blokov za uprizoritev
Zagotovite, da so imeniki za uprizoritev, skrbništvo in preizkušanje pravilno blokirani, da preprečite indekserjem iskanja indeksiranje podvojenih kopij spletnega mesta.
SEO orodja
Tester Robots.txt
Prilepite vsebino robots.txt, da pregledate pogoste direktive in opazite tvegane bloke preiskovanja.
Kako uporabiti
- 1
Prilepite vsebino datoteke robots.txt.
- 2
Zaženite tester.
- 3
Preglejte direktive in opozorila.
Hiter odgovor
Preizkuševalnik Robots.txt razčleni vašo datoteko robots.txt, da poudari aktivna pravila, cilje uporabniškega agenta, povezave do zemljevidov spletnega mesta in bloke iskanja. Najboljši je za pregledovanje konfiguracij iskanja, preden Google, Bing ali agenti umetne inteligence indeksirajo vaše spletno mesto.
Ključne funkcije
- Preverja veljavnost direktiv (Allow, Disallow, Sitemap, Crawl-delay).
- Združuje pravila po blokih uporabniškega agenta za jasen pregled več iskalnikov.
- V realnem času poudari prazne direktive ali težave z oblikovanjem.
- Prepozna absolutne URL-je zemljevidov spletnega mesta in preveri skladnost s standardno postavitvijo.
- Besedilo v celoti obdela v brskalniku, kar preprečuje uhajanje konfiguracij iskanja spletnega mesta.
- Ne zahteva nobenih povezav s produkcijskim DNS, domenami ali Search Console.
O tem orodju
Datoteka robots.txt spletnega mesta je začetni vratar za iskalnike in strgalnike umetne inteligence, ki jim naroča, kje se lahko gibljejo in kateri imeniki morajo ostati zasebni. Ena sama napačno postavljena poševnica, nepravilna zvezdica ali nepravilno oblikovana pot Disallow lahko popolnoma blokira celotne odseke vaše domene pred indeksiranjem iskanja – ali pa nenamerno izpostavi skrivne imenike za uprizoritev javnim indekserjem. Ta preizkuševalnik prevede surove direktive robots v jasne, strukturirane tabele, pri čemer poudari, kateri agenti imajo dovoljenje za iskanje, in vas opozori na nevarne bloke iskanja. Ker preverjanje poteka znotraj vašega lokalnega okna brskalnika, lahko varno preizkusite in prilagodite svoja pravila brez povezave, preden jih uvedete v živo.
Pogosti scenariji
Pregledovanje pravil strgalnikov umetne inteligence
Konfigurirajte pravila po meri, da omogočite glavne iskalnike, hkrati pa posebej blokirate ali omejite agresivne strgalnike vsebine modelov umetne inteligence.
Preverjanje poti zemljevidov spletnega mesta
Preverite, ali je vaša povezava do zemljevida spletnega mesta v celoti deklarirana kot absolutni URL in pravilno postavljena zunaj blokov direktiv uporabniškega agenta.
Pogosta vprašanja
Ali to nadomešča testiranje v Google Search Console?
Ne. To je hiter lokalni pregled za pogoste napake pred globljim preverjanjem.
Ali lahko pridobi datoteko robots.txt v živo?
Pridobivanje v živo se lahko doda pozneje kot funkcija s pomočjo strežnika.
Kakšna je standardna postavitev za pravilo zemljevida spletnega mesta?
Direktiva Sitemap je neodvisna od blokov uporabniškega agenta. Deklarirana mora biti kot absolutni URL (npr. Sitemap: https://vasadomena.com/sitemap.xml) in se običajno nahaja na samem vrhu ali dnu datoteke.
Ali Google podpira pravila crawl-delay?
Ne. Googlebot v celoti ignorira direktive Crawl-delay. Vendar pa drugi iskalni boti (kot je Bingbot) in manjši strgalniki spletnih mest še vedno podpirajo in upoštevajo nastavitve Crawl-delay.
Ali lahko preizkusim nadomestne znake?
Da. Standardne nadomestne znake (kot sta * in $) podpirajo sodobni iskalniki in jih je mogoče razčleniti za pregled ujemanj.
Ali je moja datoteka za iskanje zasebna?
Da. Vse razčlenjevanje robots.txt se obravnava strogo znotraj vašega okna brskalnika z uporabo JavaScripta na strani odjemalca. Noben od vaših imenikov ali direktiv se ne beleži.