Weryfikacja blokad środowiska testowego
Upewnij się, że katalogi testowe, administracyjne i testowe są prawidłowo zablokowane, aby zapobiec indeksowaniu zduplikowanych kopii witryny przez indeksery wyszukiwania.
Narzędzia SEO
Tester Robots.txt
Wklej zawartość pliku robots.txt, aby sprawdzić typowe dyrektywy i wykryć ryzykowne blokady indeksowania.
Jak używać
- 1
Wklej zawartość pliku robots.txt.
- 2
Uruchom tester.
- 3
Przejrzyj dyrektywy i ostrzeżenia.
Szybka odpowiedź
Tester Robots.txt analizuje plik robots.txt, aby wyróżnić aktywne reguły, cele User-agent, linki do map witryn i blokady indeksowania. Najlepiej nadaje się do audytu konfiguracji indeksowania przed zaindeksowaniem witryny przez Google, Bing lub agentów AI.
Kluczowe funkcje
- Sprawdza ważność dyrektyw (Allow, Disallow, Sitemap, Crawl-delay).
- Grupuje reguły według bloków User-agent w celu przejrzystego audytu dla wielu robotów.
- Wyróżnia puste dyrektywy lub problemy z formatowaniem w czasie rzeczywistym.
- Identyfikuje bezwzględne adresy URL map witryn i weryfikuje zgodność ze standardowym układem.
- Przetwarza tekst w pełni w przeglądarce, zapobiegając wyciekom konfiguracji indeksowania witryny.
- Wymaga zerowych połączeń z produkcyjnym DNS, domenami lub Search Console.
O tym narzędziu
Plik robots.txt witryny jest początkowym strażnikiem dla wyszukiwarek i skrobaków AI, instruującym je, gdzie mogą się poruszać i jakie katalogi muszą pozostać prywatne. Pojedynczy źle umieszczony ukośnik, nieprawidłowa gwiazdka wieloznaczna lub zniekształcona ścieżka Disallow może całkowicie zablokować całe sekcje domeny przed indeksowaniem w wyszukiwarce — lub przypadkowo ujawnić tajne katalogi testowe publicznym indekserom. Ten tester tłumaczy surowe dyrektywy robots na przejrzyste, ustrukturyzowane tabele, podkreślając, którzy agenci mają zezwolenie na indeksowanie i ostrzegając o niebezpiecznych blokadach indeksowania. Ponieważ walidacja działa w lokalnym oknie przeglądarki, możesz bezpiecznie testować i dostosowywać swoje reguły offline przed wdrożeniem ich na żywo.
Typowe scenariusze
Audyt reguł skrobaków AI
Skonfiguruj niestandardowe reguły, aby zezwolić głównym robotom wyszukiwarek, jednocześnie blokując lub ograniczając agresywne skrobaki treści modeli AI.
Walidacja ścieżek map witryn
Sprawdź, czy link do mapy witryny jest w pełni zadeklarowany jako bezwzględny adres URL i umieszczony prawidłowo poza blokami dyrektyw user-agent.
FAQ
Czy to zastępuje testowanie w Google Search Console?
Nie. Jest to szybkie lokalne sprawdzenie pod kątem typowych błędów przed głębszą walidacją.
Czy może pobrać plik robots.txt na żywo?
Pobieranie na żywo może zostać dodane później jako funkcja wspomagana przez serwer.
Jakie jest standardowe miejsce dla reguły mapy witryny?
Dyrektywa Sitemap jest niezależna od bloków User-agent. Powinna być zadeklarowana jako bezwzględny adres URL (np. Sitemap: https://twojadomena.com/sitemap.xml) i zazwyczaj znajduje się na samej górze lub na dole pliku.
Czy reguły crawl-delay są obsługiwane przez Google?
Nie. Googlebot całkowicie ignoruje dyrektywy Crawl-delay. Jednak inne boty wyszukiwarek (takie jak Bingbot) i mniejsze skrobaki witryn nadal obsługują i respektują ustawienia Crawl-delay.
Czy mogę testować znaki wieloznaczne?
Tak. Standardowe znaki wieloznaczne (takie jak * i $) są obsługiwane przez nowoczesne wyszukiwarki i mogą być parsowane w celu audytu dopasowań.
Czy mój plik indeksowania jest prywatny?
Tak. Całe parsowanie robots.txt jest obsługiwane ściśle w oknie przeglądarki za pomocą JavaScript po stronie klienta. Żadne z Twoich katalogów ani dyrektyw nie są rejestrowane.