Pag-verify ng mga staging block
Tiyaking naharang nang tama ang mga direktoryo ng staging, admin, at pagsubok upang maiwasan ang mga search indexer na i-index ang mga duplicate na kopya ng site.
Mga tool sa SEO
Tester ng Robots.txt
I-paste ang nilalaman ng robots.txt upang siyasatin ang mga karaniwang direktiba at makita ang mga mapanganib na block sa pag-crawl.
Paano gamitin
- 1
I-paste ang nilalaman ng robots.txt.
- 2
Patakbuhin ang tester.
- 3
Suriin ang mga direktiba at babala.
Mabilis na sagot
Ang Robots.txt Tester ay nagpa-parse ng iyong robots.txt file upang i-highlight ang mga aktibong panuntunan, mga target ng User-agent, mga link ng sitemap, at mga crawl block. Pinakamainam ito para sa pag-audit ng mga configuration ng pag-crawl bago i-index ng Google, Bing, o mga ahente ng AI ang iyong site.
Mga pangunahing tampok
- Sinusuri ang bisa ng direktiba (Allow, Disallow, Sitemap, Crawl-delay).
- Pinapangkat ang mga panuntunan ayon sa mga bloke ng User-agent para sa malinaw, multi-crawler na pag-audit.
- Itinatampok ang mga walang laman na direktiba o mga isyu sa pag-format nang real-time.
- Tinutukoy ang mga absolute sitemap URL at bini-verify ang karaniwang pagsunod sa layout.
- Pinoproseso ang text nang buo sa browser, na pumipigil sa mga config ng pag-crawl ng site na tumagas.
- Nangangailangan ng zero na koneksyon sa production DNS, mga domain, o Search Console.
Tungkol sa tool na ito
Ang robots.txt file ng isang site ay ang paunang gatekeeper para sa mga search engine at AI scraper, na nagtuturo sa kanila kung saan sila pinapayagang gumala at kung aling mga direktoryo ang dapat manatiling pribado. Ang isang maling slash, maling wildcard star, o maling Disallow path ay maaaring ganap na harangan ang buong mga seksyon ng iyong domain mula sa pag-index ng paghahanap—o hindi sinasadyang ilantad ang mga lihim na direktoryo ng staging sa mga pampublikong indexer. Isinasalin ng tester na ito ang mga raw robots na direktiba sa malinaw, nakabalangkas na mga talahanayan, na nagha-highlight kung aling mga ahente ang may crawl clearance at nagbabala sa iyo ng mga mapanganib na crawl-block. Dahil tumatakbo ang pagpapatunay sa loob ng iyong lokal na window ng browser, maaari mong ligtas na subukan at i-tweak ang iyong mga panuntunan offline bago i-deploy ang mga ito nang live.
Mga karaniwang sitwasyon
Pag-audit ng mga panuntunan ng AI scraper
I-configure ang mga custom na panuntunan upang payagan ang mga pangunahing search crawler habang partikular na hinaharangan o pinipigilan ang mga agresibong AI model content scraper.
Pagpapatunay ng mga path ng sitemap
I-verify na ang iyong link ng sitemap ay ganap na idineklara bilang isang absolute URL at inilagay nang tama sa labas ng mga bloke ng direktiba ng user-agent.
FAQ
Pinapalitan ba nito ang pag-test sa Google Search Console?
Hindi. Ito ay isang mabilis na lokal na pagsusuri para sa mga karaniwang pagkakamali bago ang mas malalim na balidasyon.
Maaari ba nitong kunin ang isang live na robots.txt file?
Ang live fetching ay maaaring idagdag sa ibang pagkakataon bilang isang server-assisted na feature.
Ano ang karaniwang paglalagay para sa isang panuntunan ng sitemap?
Ang isang direktiba ng Sitemap ay independiyente sa mga bloke ng User-agent. Dapat itong ideklara bilang isang absolute URL (hal. Sitemap: https://yourdomain.com/sitemap.xml) at karaniwang nakaupo sa pinakataas o ibaba ng file.
Sinusuportahan ba ng Google ang mga panuntunan sa crawl-delay?
Hindi. Binabalewala ng Googlebot ang mga direktiba ng Crawl-delay nang buo. Gayunpaman, ang iba pang mga search bot (tulad ng Bingbot) at mga menor de edad na site scraper ay sumusuporta at gumagalang pa rin sa mga setting ng Crawl-delay.
Maaari ba akong sumubok ng mga wildcard?
Oo. Ang mga karaniwang wildcard (tulad ng * at $) ay sinusuportahan ng mga modernong search engine at maaaring i-parse upang i-audit ang mga tugma.
Pribado ba ang aking crawl file?
Oo. Ang lahat ng pag-parse ng robots.txt ay mahigpit na pinangangasiwaan sa loob ng iyong window ng browser gamit ang client-side JavaScript. Wala sa iyong mga direktoryo o direktiba ang naka-log.
Mga kaugnay na tool
SEO
Validator ng Sitemap
Suriin ang hugis ng sitemap XML at mga pangunahing entry ng URL.
Buksan ang tool
PDF
Pagsamahin ang PDF
Pagsamahin ang mga PDF file sa isang dokumento.
Buksan ang tool
PDF
Hatiin ang PDF
I-extract ang mga pahina o hatiin ang isang PDF sa mas maliliit na file.
Buksan ang tool