Mengesahkan blok pementasan
Pastikan direktori pementasan, pentadbir, dan ujian disekat dengan betul untuk menghalang pengindeks carian daripada mengindeks salinan tapak pendua.
Alat SEO
Penguji Robots.txt
Tampal kandungan robots.txt untuk memeriksa arahan biasa dan mengesan sekatan merangkak yang berisiko.
Cara penggunaan
- 1
Tampal kandungan robots.txt.
- 2
Jalankan penguji.
- 3
Semak arahan dan amaran.
Jawapan pantas
Penguji Robots.txt menghuraikan fail robots.txt anda untuk menyerlahkan peraturan aktif, sasaran Ejen pengguna, pautan peta laman, dan blok rayapan. Ia adalah yang terbaik untuk mengaudit konfigurasi rayapan sebelum Google, Bing, atau ejen AI mengindeks tapak anda.
Ciri-ciri utama
- Memeriksa kesahihan arahan (Allow, Disallow, Sitemap, Crawl-delay).
- Mengumpulkan peraturan mengikut blok Ejen pengguna untuk pengauditan berbilang perangkak yang jelas.
- Menyerlahkan arahan kosong atau isu pemformatan dalam masa nyata.
- Mengenal pasti URL peta laman mutlak dan mengesahkan pematuhan susun atur standard.
- Memproses teks sepenuhnya dalam penyemak imbas, menghalang konfigurasi rayapan tapak daripada bocor.
- Memerlukan sifar sambungan ke DNS pengeluaran, domain, atau Search Console.
Mengenai alat ini
Fail robots.txt tapak ialah penjaga pintu awal untuk enjin carian dan pengikis AI, mengarahkan mereka ke mana mereka dibenarkan merayau dan direktori mana yang mesti kekal peribadi. Satu garis miring yang salah letak, bintang kad bebas yang salah, atau laluan Disallow yang cacat boleh menyekat sepenuhnya keseluruhan bahagian domain anda daripada pengindeksan carian—atau secara tidak sengaja mendedahkan direktori pementasan rahsia kepada pengindeks awam. Penguji ini menterjemahkan arahan robot mentah ke dalam jadual berstruktur yang jelas, menyerlahkan ejen mana yang mempunyai pelepasan rayapan dan memberi amaran kepada anda tentang blok rayapan yang berbahaya. Oleh kerana pengesahan berjalan di dalam tetingkap penyemak imbas tempatan anda, anda boleh menguji dan mengubah suai peraturan anda dengan selamat di luar talian sebelum melaksanakannya secara langsung.
Senario biasa
Mengaudit peraturan pengikis AI
Konfigurasikan peraturan tersuai untuk membenarkan perangkak carian arus perdana sambil menyekat atau mendikit pengikis kandungan model AI yang agresif secara khusus.
Mengesahkan laluan peta laman
Sahkan bahawa pautan peta laman anda diisytiharkan sepenuhnya sebagai URL mutlak dan diletakkan dengan betul di luar blok arahan ejen pengguna.
Soalan Lazim
Adakah ini menggantikan pengujian Google Search Console?
Tidak. Ia adalah semakan tempatan pantas untuk kesilapan biasa sebelum pengesahan yang lebih mendalam.
Bolehkah ia mengambil fail robots.txt secara langsung?
Pengambilan langsung boleh ditambah kemudian sebagai ciri bantuan pelayan.
Apakah penempatan standard untuk peraturan peta laman?
Arahan Sitemap adalah bebas daripada blok Ejen pengguna. Ia harus diisytiharkan sebagai URL mutlak (cth. Sitemap: https://yourdomain.com/sitemap.xml) dan biasanya terletak di bahagian paling atas atau bawah fail.
Adakah peraturan kelewatan rayapan disokong oleh Google?
Tidak. Googlebot mengabaikan arahan Crawl-delay sepenuhnya. Walau bagaimanapun, bot carian lain (seperti Bingbot) dan pengikis tapak kecil masih menyokong dan menghormati tetapan Crawl-delay.
Bolehkah saya menguji kad bebas?
Ya. Kad bebas standard (seperti * dan $) disokong oleh enjin carian moden dan boleh dihuraikan untuk mengaudit padanan.
Adakah fail rayapan saya peribadi?
Ya. Semua penghuraian robots.txt dikendalikan sepenuhnya dalam tetingkap penyemak imbas anda menggunakan JavaScript bahagian klien. Tiada direktori atau arahan anda yang dilog.