Staðfesting á prófunarblokkum
Tryggðu að prófunar-, stjórnenda- og tilraunamöppur séu rétt lokaðar til að koma í veg fyrir að leitarskráningaraðilar skrái tvítekin afrit af vefnum.
SEO tól
Robots.txt prófari
Límdu innihald robots.txt til að skoða algengar tilskipanir og koma auga á áhættusöm skriðbönn.
Hvernig á að nota
- 1
Límdu innihald robots.txt.
- 2
Keyrðu prófarann.
- 3
Farðu yfir tilskipanir og viðvaranir.
Fljótlegt svar
Robots.txt prófari þáttar robots.txt skrána þína til að varpa ljósi á virkar reglur, User-agent markmið, veftré tengla og skriðblokkir. Það er best til að endurskoða skriðstillingar áður en Google, Bing eða gervigreindar umboðsmenn skrá vefinn þinn.
Helstu eiginleikar
- Athugar gildi tilskipana (Allow, Disallow, Sitemap, Crawl-delay).
- Flokkar reglur eftir User-agent blokkum fyrir skýra, fjölskriðla endurskoðun.
- Dregur fram tómar tilskipanir eða sniðvillur í rauntíma.
- Auðkennir algildar veftré vefslóðir og staðfestir að þær fylgi stöðluðu uppsetningu.
- Vinnur texta að fullu í vafranum, sem kemur í veg fyrir að skriðstillingar vefsins leki.
- Krefst engra tenginga við framleiðslu DNS, lén eða Search Console.
Um þetta tól
Robots.txt skrá vefs er upphaflegi hliðvörðurinn fyrir leitarvélar og gervigreindar sköfur, sem leiðbeinir þeim um hvar þeim er leyft að reika og hvaða möppur verða að vera einkamál. Eitt rangt staðsett skástrik, röng algildisstjarna eða gölluð Disallow slóð getur lokað algjörlega fyrir heila hluta lénsins þíns frá leitarskráningu—eða óvart afhjúpað leynilegar prófunarmöppur fyrir opinberum skráningaraðilum. Þessi prófari þýðir hráar robots tilskipanir í skýrar, uppbyggðar töflur, dregur fram hvaða umboðsmenn hafa skriðleyfi og varar þig við hættulegum skriðblokkum. Vegna þess að staðfesting keyrir inni í staðbundnum vafraglugga þínum, geturðu örugglega prófað og stillt reglurnar þínar án nettengingar áður en þú birtir þær.
Algengar aðstæður
Endurskoðun á gervigreindar sköfureglum
Stilltu sérsniðnar reglur til að leyfa almennar leitarsköfur á meðan þú lokar sérstaklega á eða takmarkar ágengar gervigreindar efnissköfur.
Staðfesting á veftré slóðum
Staðfestu að veftré tengillinn þinn sé að fullu yfirlýstur sem algild vefslóð og rétt staðsettur utan user-agent tilskipanablokka.
Algengar spurningar
Kemur þetta í stað prófana í Google Search Console?
Nei. Þetta er fljótleg staðbundin athugun á algengum mistökum fyrir ítarlegri sannprófun.
Getur það sótt virka robots.txt skrá?
Hægt er að bæta við rauntímasókn síðar sem eiginleika með aðstoð þjóns.
Hver er staðlað staðsetning fyrir veftré reglu?
Sitemap tilskipun er óháð User-agent blokkum. Hún ætti að vera yfirlýst sem algild vefslóð (t.d. Sitemap: https://yourdomain.com/sitemap.xml) og situr venjulega efst eða neðst í skránni.
Eru crawl-delay reglur studdar af Google?
Nei. Googlebot hunsar Crawl-delay tilskipanir alfarið. Hins vegar styðja aðrir leitarvélabottar (eins og Bingbot) og minni vefsköfur enn og virða Crawl-delay stillingar.
Get ég prófað algildistákn?
Já. Stöðluð algildistákn (eins og * og $) eru studd af nútíma leitarvélum og hægt er að þátta þau til að endurskoða samsvaranir.
Er skriðskráin mín einkamál?
Já. Öll robots.txt þáttun er meðhöndluð stranglega innan vafragluggans þíns með JavaScript hjá biðlara. Engar af möppum þínum eða tilskipunum eru skráðar.