Überprüfung von Staging-Blockaden
Stellen Sie sicher, dass Staging-, Admin- und Testverzeichnisse korrekt blockiert sind, um zu verhindern, dass Suchindexer doppelte Website-Kopien indexieren.
SEO-Tools
Robots.txt-Tester
Fügen Sie den robots.txt-Inhalt ein, um gängige Direktiven zu überprüfen und riskante Crawl-Blockierungen zu erkennen.
Verwendung
- 1
Fügen Sie den Inhalt der robots.txt ein.
- 2
Führen Sie den Tester aus.
- 3
Überprüfen Sie Anweisungen und Warnungen.
Kurze Antwort
Der Robots.txt-Tester parst Ihre robots.txt-Datei, um aktive Regeln, User-Agent-Ziele, Sitemap-Links und Crawl-Blockaden hervorzuheben. Er eignet sich am besten zur Überprüfung von Crawl-Konfigurationen, bevor Google, Bing oder KI-Agenten Ihre Website indexieren.
Hauptfunktionen
- Überprüft die Gültigkeit von Direktiven (Allow, Disallow, Sitemap, Crawl-delay).
- Gruppiert Regeln nach User-Agent-Blöcken für eine klare, Multi-Crawler-Prüfung.
- Hebt leere Direktiven oder Formatierungsprobleme in Echtzeit hervor.
- Identifiziert absolute Sitemap-URLs und überprüft die Einhaltung des Standardlayouts.
- Verarbeitet Text vollständig im Browser und verhindert so, dass Crawl-Konfigurationen der Website durchsickern.
- Erfordert keine Verbindungen zu Produktions-DNS, Domains oder der Search Console.
Über dieses Tool
Die robots.txt-Datei einer Website ist der erste Wächter für Suchmaschinen und KI-Scraper. Sie weist sie an, wo sie sich bewegen dürfen und welche Verzeichnisse privat bleiben müssen. Ein einziger falsch platzierter Schrägstrich, ein falscher Platzhalter-Stern oder ein fehlerhafter Disallow-Pfad kann ganze Bereiche Ihrer Domain vollständig von der Suchindexierung ausschließen – oder versehentlich geheime Staging-Verzeichnisse für öffentliche Indexer freigeben. Dieser Tester übersetzt rohe Robots-Direktiven in klare, strukturierte Tabellen, hebt hervor, welche Agenten eine Crawl-Freigabe haben, und warnt Sie vor gefährlichen Crawl-Blockaden. Da die Validierung in Ihrem lokalen Browserfenster ausgeführt wird, können Sie Ihre Regeln sicher offline testen und anpassen, bevor Sie sie live schalten.
Häufige Szenarien
Prüfung von KI-Scraper-Regeln
Konfigurieren Sie benutzerdefinierte Regeln, um Mainstream-Such-Crawler zuzulassen, während Sie aggressive KI-Modell-Content-Scraper gezielt blockieren oder drosseln.
Validierung von Sitemap-Pfaden
Stellen Sie sicher, dass Ihr Sitemap-Link vollständig als absolute URL deklariert und korrekt außerhalb von User-Agent-Direktivenblöcken platziert ist.
FAQ
Ersetzt dies das Testen in der Google Search Console?
Nein. Es ist eine schnelle lokale Überprüfung auf häufige Fehler vor einer tiefergehenden Validierung.
Kann es eine Live-robots.txt-Datei abrufen?
Das Live-Abrufen kann später als servergestützte Funktion hinzugefügt werden.
Was ist die Standardplatzierung für eine Sitemap-Regel?
Eine Sitemap-Direktive ist unabhängig von User-Agent-Blöcken. Sie sollte als absolute URL deklariert werden (z. B. Sitemap: https://ihredomain.com/sitemap.xml) und befindet sich normalerweise ganz oben oder unten in der Datei.
Werden Crawl-Delay-Regeln von Google unterstützt?
Nein. Der Googlebot ignoriert Crawl-Delay-Direktiven vollständig. Andere Suchbots (wie der Bingbot) und kleinere Website-Scraper unterstützen und respektieren jedoch weiterhin Crawl-Delay-Einstellungen.
Kann ich Platzhalter testen?
Ja. Standard-Platzhalter (wie * und $) werden von modernen Suchmaschinen unterstützt und können geparst werden, um Übereinstimmungen zu überprüfen.
Ist meine Crawl-Datei privat?
Ja. Das gesamte robots.txt-Parsing wird streng innerhalb Ihres Browserfensters mit clientseitigem JavaScript abgewickelt. Keines Ihrer Verzeichnisse oder Direktiven wird protokolliert.