Hazırlık bloklarını doğrulama
Arama dizinleyicilerinin yinelenen site kopyalarını dizine eklemesini önlemek için hazırlık, yönetici ve test dizinlerinin doğru şekilde engellendiğinden emin olun.
SEO araçları
Robots.txt Test Aracı
Yaygın yönergeleri incelemek ve riskli tarama engellemelerini tespit etmek için robots.txt içeriğini yapıştırın.
Nasıl kullanılır
- 1
robots.txt içeriğini yapıştırın.
- 2
Test aracını çalıştırın.
- 3
Yönergeleri ve uyarıları inceleyin.
Hızlı cevap
Robots.txt Test Aracı, etkin kuralları, User-agent hedeflerini, site haritası bağlantılarını ve tarama bloklarını vurgulamak için robots.txt dosyanızı ayrıştırır. Google, Bing veya yapay zeka aracıları sitenizi dizine eklemeden önce tarama yapılandırmalarını denetlemek için en iyisidir.
Temel özellikler
- Yönerge geçerliliğini kontrol eder (Allow, Disallow, Sitemap, Crawl-delay).
- Net, çoklu tarayıcı denetimi için kuralları User-agent bloklarına göre gruplandırır.
- Boş yönergeleri veya biçimlendirme sorunlarını gerçek zamanlı olarak vurgular.
- Mutlak site haritası URL'lerini tanımlar ve standart düzen uyumluluğunu doğrular.
- Metni tamamen tarayıcı içinde işleyerek site tarama yapılandırmalarının sızmasını önler.
- Üretim DNS'ine, alan adlarına veya Search Console'a sıfır bağlantı gerektirir.
Bu araç hakkında
Bir sitenin robots.txt dosyası, arama motorları ve yapay zeka kazıyıcıları için ilk kapı bekçisidir ve onlara nerede dolaşmalarına izin verildiğini ve hangi dizinlerin gizli kalması gerektiğini söyler. Yanlış yerleştirilmiş tek bir eğik çizgi, yanlış joker yıldız veya hatalı biçimlendirilmiş bir Disallow yolu, alan adınızın tüm bölümlerini arama dizininden tamamen engelleyebilir veya yanlışlıkla gizli hazırlık dizinlerini genel dizinleyicilere ifşa edebilir. Bu test aracı, ham robots yönergelerini net, yapılandırılmış tablolara çevirerek hangi aracıların tarama iznine sahip olduğunu vurgular ve sizi tehlikeli tarama bloklarına karşı uyarır. Doğrulama yerel tarayıcı pencerenizde çalıştığından, kurallarınızı canlı olarak dağıtmadan önce çevrimdışı olarak güvenle test edebilir ve ince ayar yapabilirsiniz.
Yaygın senaryolar
Yapay zeka kazıyıcı kurallarını denetleme
Agresif yapay zeka modeli içerik kazıyıcılarını özel olarak engellerken veya kısıtlarken ana akım arama tarayıcılarına izin vermek için özel kurallar yapılandırın.
Site haritası yollarını doğrulama
Site haritası bağlantınızın mutlak bir URL olarak tam olarak bildirildiğini ve kullanıcı aracısı yönerge bloklarının dışına doğru şekilde yerleştirildiğini doğrulayın.
SSS
Bu, Google Search Console testinin yerini alır mı?
Hayır. Daha derin bir doğrulamadan önce yaygın hatalar için hızlı bir yerel kontroldür.
Canlı bir robots.txt dosyasını getirebilir mi?
Canlı getirme, daha sonra sunucu destekli bir özellik olarak eklenebilir.
Bir site haritası kuralı için standart yerleşim nedir?
Bir Sitemap yönergesi User-agent bloklarından bağımsızdır. Mutlak bir URL olarak bildirilmelidir (ör. Sitemap: https://yourdomain.com/sitemap.xml) ve genellikle dosyanın en üstünde veya en altında yer alır.
Crawl-delay kuralları Google tarafından destekleniyor mu?
Hayır. Googlebot, Crawl-delay yönergelerini tamamen yok sayar. Ancak, diğer arama botları (Bingbot gibi) ve küçük site kazıyıcıları Crawl-delay ayarlarını hala destekler ve bunlara saygı duyar.
Joker karakterleri test edebilir miyim?
Evet. Standart joker karakterler (* ve $ gibi) modern arama motorları tarafından desteklenir ve eşleşmeleri denetlemek için ayrıştırılabilir.
Tarama dosyam gizli mi?
Evet. Tüm robots.txt ayrıştırma işlemleri, istemci tarafı JavaScript kullanılarak kesinlikle tarayıcı pencerenizde gerçekleştirilir. Dizinlerinizin veya yönergelerinizin hiçbiri günlüğe kaydedilmez.