Lavastusplokkide kontrollimine
Veenduge, et lavastus-, administraatori- ja testkataloogid on õigesti blokeeritud, et vältida otsinguindekseerijate saidi duplikaatkoopiate indekseerimist.
SEO tööriistad
Robots.txt testija
Kleepige robots.txt sisu, et uurida levinud direktiive ja märgata riskantseid roomamise plokke.
Kuidas kasutada
- 1
Kleebi robots.txt sisu.
- 2
Käivita testija.
- 3
Vaata üle direktiivid ja hoiatused.
Kiire vastus
Robots.txt testija parsib teie robots.txt faili, et tõsta esile aktiivsed reeglid, User-agent sihtmärgid, sisukaardi lingid ja roomamisplokid. See on parim roomamiskonfiguratsioonide auditeerimiseks enne, kui Google, Bing või AI-agendid teie saidi indekseerivad.
Põhifunktsioonid
- Kontrollib direktiivide kehtivust (Allow, Disallow, Sitemap, Crawl-delay).
- Rühmitab reeglid User-agent plokkide kaupa selgeks, mitme roomaja auditeerimiseks.
- Tõstab reaalajas esile tühjad direktiivid või vormindusprobleemid.
- Tuvastab absoluutsed sisukaardi URL-id ja kontrollib standardse paigutuse vastavust.
- Töötleb teksti täielikult brauseris, vältides saidi roomamiskonfiguratsioonide lekkimist.
- Ei nõua ühendusi tootmise DNS-i, domeenide ega Search Console'iga.
Selle tööriista kohta
Saidi robots.txt fail on otsingumootorite ja AI-kaabitsate esialgne väravavaht, mis juhendab neid, kuhu neil on lubatud minna ja millised kataloogid peavad jääma privaatseks. Üks valesti paigutatud kaldkriips, vale metamärk või valesti vormindatud Disallow-rada võib täielikult blokeerida teie domeeni terved osad otsingu indekseerimisest – või kogemata paljastada salajased lavastuskataloogid avalikele indekseerijatele. See testija tõlgib toored robots-direktiivid selgeteks, struktureeritud tabeliteks, tõstes esile, millistel agentidel on roomamisluba, ja hoiatades teid ohtlike roomamisplokkide eest. Kuna valideerimine toimub teie kohalikus brauseriaknas, saate oma reegleid enne nende reaalajas juurutamist turvaliselt võrguühenduseta testida ja kohandada.
Levinud stsenaariumid
AI-kaabitsa reeglite auditeerimine
Konfigureerige kohandatud reeglid, et lubada peamisi otsingu roomajaid, blokeerides või piirates samal ajal spetsiaalselt agressiivseid AI-mudeli sisukaabitsaid.
Sisukaardi radade valideerimine
Veenduge, et teie sisukaardi link on täielikult deklareeritud absoluutse URL-ina ja paigutatud õigesti väljapoole user-agent direktiivi plokke.
KKK
Kas see asendab Google Search Console'i testimist?
Ei. See on kiire kohalik kontroll levinud vigade leidmiseks enne põhjalikumat valideerimist.
Kas see suudab hankida reaalajas robots.txt faili?
Reaalajas hankimise saab hiljem lisada serveripõhise funktsioonina.
Mis on sisukaardi reegli standardne paigutus?
Sitemap-direktiiv on User-agent plokkidest sõltumatu. See tuleks deklareerida absoluutse URL-ina (nt Sitemap: https://yourdomain.com/sitemap.xml) ja asub tavaliselt faili kõige üla- või alaosas.
Kas Google toetab crawl-delay reegleid?
Ei. Googlebot ignoreerib Crawl-delay direktiive täielikult. Kuid teised otsingurobotid (nagu Bingbot) ja väiksemad saidikaabitsad toetavad ja austavad endiselt Crawl-delay seadeid.
Kas ma saan testida metamärke?
Jah. Kaasaegsed otsingumootorid toetavad standardseid metamärke (nagu * ja $) ning neid saab parsida vastete auditeerimiseks.
Kas minu roomamisfail on privaatne?
Jah. Kogu robots.txt parsimine toimub rangelt teie brauseriaknas kliendipoolse JavaScripti abil. Ühtegi teie kataloogi ega direktiivi ei logita.