Sustojimo blokų tikrinimas
Įsitikinkite, kad sustojimo, administratoriaus ir bandymo katalogai yra tinkamai užblokuoti, kad paieškos indeksuotojai neindeksuotų pasikartojančių svetainės kopijų.
SEO įrankiai
Robots.txt testuotojas
Įklijuokite robots.txt turinį, kad patikrintumėte dažnas direktyvas ir pastebėtumėte rizikingus nuskaitymo blokus.
Kaip naudoti
- 1
Įklijuokite robots.txt turinį.
- 2
Paleiskite testavimo įrankį.
- 3
Peržiūrėkite direktyvas ir įspėjimus.
Greitas atsakymas
„Robots.txt Tester“ analizuoja jūsų robots.txt failą, kad išryškintų aktyvias taisykles, „User-agent“ taikinius, svetainės schemos nuorodas ir tikrinimo blokus. Tai geriausia tikrinant tikrinimo konfigūracijas prieš „Google“, „Bing“ ar AI agentams indeksuojant jūsų svetainę.
Pagrindinės funkcijos
- Tikrina direktyvos galiojimą (Allow, Disallow, Sitemap, Crawl-delay).
- Grupuoja taisykles pagal „User-agent“ blokus, kad būtų galima atlikti aiškų, kelių tikrintuvų auditą.
- Realiuoju laiku išryškina tuščias direktyvas arba formatavimo problemas.
- Identifikuoja absoliučius svetainės schemos URL ir patikrina standartinio išdėstymo atitiktį.
- Apdoroja tekstą visiškai naršyklėje, užkertant kelią svetainės tikrinimo konfigūracijų nutekėjimui.
- Nereikalauja jokių ryšių su gamybos DNS, domenais ar „Search Console“.
Apie šį įrankį
Svetainės robots.txt failas yra pradinis paieškos sistemų ir AI grandiklių sargas, nurodantis jiems, kur jiems leidžiama klaidžioti ir kokie katalogai turi likti privatūs. Vienas netinkamai padėtas pasvirasis brūkšnys, neteisinga pakaitos žvaigždutė arba netinkamai suformuotas „Disallow“ kelias gali visiškai užblokuoti ištisas jūsų domeno dalis nuo paieškos indeksavimo arba netyčia atskleisti slaptus sustojimo katalogus viešiems indeksuotojams. Šis testuotojas paverčia neapdorotas robotų direktyvas į aiškias, struktūrizuotas lenteles, pabrėždamas, kurie agentai turi tikrinimo leidimą, ir įspėdamas apie pavojingus tikrinimo blokus. Kadangi patvirtinimas vykdomas jūsų vietiniame naršyklės lange, galite saugiai išbandyti ir pakoreguoti savo taisykles neprisijungę prieš jas įdiegdami.
Dažni scenarijai
AI grandiklio taisyklių auditas
Konfigūruokite tinkintas taisykles, kad leistumėte pagrindiniams paieškos tikrintuvams, tuo pačiu specialiai blokuodami arba ribodami agresyvius AI modelio turinio grandiklius.
Svetainės schemos kelių patvirtinimas
Patikrinkite, ar jūsų svetainės schemos nuoroda yra visiškai deklaruota kaip absoliutus URL ir teisingai patalpinta už vartotojo agento direktyvų blokų.
DUK
Ar tai pakeičia „Google Search Console“ testavimą?
Ne. Tai greitas vietinis patikrinimas dėl dažnų klaidų prieš gilesnį patvirtinimą.
Ar jis gali gauti tiesioginį robots.txt failą?
Tiesioginis gavimas gali būti pridėtas vėliau kaip serverio palaikoma funkcija.
Kokia yra standartinė svetainės schemos taisyklės vieta?
Svetainės schemos direktyva nepriklauso nuo „User-agent“ blokų. Ji turėtų būti deklaruota kaip absoliutus URL (pvz., Sitemap: https://yourdomain.com/sitemap.xml) ir paprastai yra pačiame failo viršuje arba apačioje.
Ar „Google“ palaiko tikrinimo delsos taisykles?
Ne. „Googlebot“ visiškai ignoruoja „Crawl-delay“ direktyvas. Tačiau kiti paieškos robotai (pvz., „Bingbot“) ir nedideli svetainių grandikliai vis dar palaiko ir gerbia „Crawl-delay“ nustatymus.
Ar galiu išbandyti pakaitos simbolius?
Taip. Standartinius pakaitos simbolius (pvz., * ir $) palaiko šiuolaikinės paieškos sistemos ir juos galima analizuoti, kad būtų galima atlikti atitikčių auditą.
Ar mano tikrinimo failas yra privatus?
Taip. Visas robots.txt analizavimas tvarkomas griežtai jūsų naršyklės lange naudojant kliento pusės „JavaScript“. Nė vienas iš jūsų katalogų ar direktyvų nėra registruojamas.