Memverifikasi blok pementasan
Pastikan direktori pementasan, admin, dan pengujian diblokir dengan benar untuk mencegah pengindeks pencarian mengindeks salinan situs duplikat.
Alat SEO
Penguji Robots.txt
Tempel konten robots.txt untuk memeriksa arahan umum dan menemukan blok perayapan berisiko.
Cara menggunakan
- 1
Tempel konten robots.txt.
- 2
Jalankan penguji.
- 3
Tinjau arahan dan peringatan.
Jawaban cepat
Penguji Robots.txt mengurai file robots.txt Anda untuk menyoroti aturan aktif, target Agen pengguna, tautan peta situs, dan blok perayapan. Ini paling baik untuk mengaudit konfigurasi perayapan sebelum Google, Bing, atau agen AI mengindeks situs Anda.
Fitur utama
- Memeriksa validitas arahan (Allow, Disallow, Sitemap, Crawl-delay).
- Mengelompokkan aturan berdasarkan blok Agen pengguna untuk audit multi-perayap yang jelas.
- Menyoroti arahan kosong atau masalah pemformatan secara real-time.
- Mengidentifikasi URL peta situs absolut dan memverifikasi kepatuhan tata letak standar.
- Memproses teks sepenuhnya di dalam browser, mencegah kebocoran konfigurasi perayapan situs.
- Membutuhkan nol koneksi ke DNS produksi, domain, atau Search Console.
Tentang alat ini
File robots.txt situs adalah penjaga gerbang awal untuk mesin pencari dan pengikis AI, menginstruksikan mereka ke mana mereka diizinkan untuk berkeliaran dan direktori mana yang harus tetap pribadi. Satu garis miring yang salah tempat, bintang wildcard yang salah, atau jalur Disallow yang salah format dapat sepenuhnya memblokir seluruh bagian domain Anda dari pengindeksan pencarian—atau secara tidak sengaja mengekspos direktori pementasan rahasia ke pengindeks publik. Penguji ini menerjemahkan arahan robot mentah menjadi tabel terstruktur yang jelas, menyoroti agen mana yang memiliki izin perayapan dan memperingatkan Anda tentang blok perayapan yang berbahaya. Karena validasi berjalan di dalam jendela browser lokal Anda, Anda dapat dengan aman menguji dan mengubah aturan Anda secara luring sebelum menerapkannya secara langsung.
Skenario umum
Mengaudit aturan pengikis AI
Konfigurasikan aturan kustom untuk mengizinkan perayap pencarian arus utama sambil secara khusus memblokir atau membatasi pengikis konten model AI yang agresif.
Memvalidasi jalur peta situs
Verifikasi bahwa tautan peta situs Anda sepenuhnya dideklarasikan sebagai URL absolut dan ditempatkan dengan benar di luar blok arahan agen pengguna.
FAQ
Apakah ini menggantikan pengujian Google Search Console?
Tidak. Ini adalah pemeriksaan lokal cepat untuk kesalahan umum sebelum validasi yang lebih mendalam.
Bisakah ini mengambil file robots.txt langsung?
Pengambilan langsung dapat ditambahkan nanti sebagai fitur yang dibantu server.
Apa penempatan standar untuk aturan peta situs?
Arahan Sitemap tidak bergantung pada blok Agen pengguna. Ini harus dideklarasikan sebagai URL absolut (misalnya Sitemap: https://domainanda.com/sitemap.xml) dan biasanya berada di bagian paling atas atau bawah file.
Apakah aturan penundaan perayapan didukung oleh Google?
Tidak. Googlebot mengabaikan arahan Crawl-delay sepenuhnya. Namun, bot pencarian lain (seperti Bingbot) dan pengikis situs kecil masih mendukung dan menghormati pengaturan Crawl-delay.
Bisakah saya menguji wildcard?
Ya. Wildcard standar (seperti * dan $) didukung oleh mesin pencari modern dan dapat diurai untuk mengaudit kecocokan.
Apakah file perayapan saya pribadi?
Ya. Semua penguraian robots.txt ditangani secara ketat di dalam jendela browser Anda menggunakan JavaScript sisi klien. Tidak ada direktori atau arahan Anda yang dicatat.