Testblokkades verifiëren
Zorg ervoor dat test-, admin- en staging-mappen correct zijn geblokkeerd om te voorkomen dat zoekindexeerders dubbele sitekopieën indexeren.
SEO-tools
Robots.txt Tester
Plak robots.txt-inhoud om veelvoorkomende richtlijnen te inspecteren en risicovolle crawl-blokkades te ontdekken.
Hoe te gebruiken
- 1
Plak de inhoud van robots.txt.
- 2
Voer de tester uit.
- 3
Bekijk richtlijnen en waarschuwingen.
Snel antwoord
Robots.txt Tester parseert uw robots.txt-bestand om actieve regels, User-agent-doelen, sitemaplinks en crawl-blokkades te markeren. Het is ideaal voor het controleren van crawlconfiguraties voordat Google, Bing of AI-agenten uw site indexeren.
Belangrijkste functies
- Controleert de geldigheid van richtlijnen (Allow, Disallow, Sitemap, Crawl-delay).
- Groepeert regels op User-agent-blokken voor duidelijke, multi-crawler controle.
- Markeert lege richtlijnen of opmaakproblemen in realtime.
- Identificeert absolute sitemap-URL's en verifieert naleving van de standaardlay-out.
- Verwerkt tekst volledig in de browser, waardoor wordt voorkomen dat crawlconfiguraties van de site lekken.
- Vereist geen verbindingen met productie-DNS, domeinen of Search Console.
Over deze tool
Het robots.txt-bestand van een site is de eerste poortwachter voor zoekmachines en AI-scrapers, en instrueert hen waar ze mogen ronddwalen en welke mappen privé moeten blijven. Een enkele verkeerd geplaatste slash, onjuiste wildcard-ster of onjuist opgemaakte Disallow-pad kan hele secties van uw domein volledig blokkeren voor zoekindexering—of per ongeluk geheime testmappen blootstellen aan openbare indexeerders. Deze tester vertaalt ruwe robots-richtlijnen naar duidelijke, gestructureerde tabellen, markeert welke agenten crawl-toestemming hebben en waarschuwt u voor gevaarlijke crawl-blokkades. Omdat de validatie in uw lokale browservenster wordt uitgevoerd, kunt u uw regels veilig offline testen en aanpassen voordat u ze live implementeert.
Veelvoorkomende scenario's
Regels voor AI-scrapers controleren
Configureer aangepaste regels om reguliere zoekcrawlers toe te staan, terwijl agressieve AI-model-contentscrapers specifiek worden geblokkeerd of beperkt.
Sitemappaden valideren
Verifieer dat uw sitemaplink volledig is gedeclareerd als een absolute URL en correct buiten user-agent-richtlijnblokken is geplaatst.
Veelgestelde vragen
Vervangt dit het testen in Google Search Console?
Nee. Het is een snelle lokale controle op veelvoorkomende fouten voorafgaand aan een grondigere validatie.
Kan het een live robots.txt-bestand ophalen?
Live ophalen kan later worden toegevoegd als een serverondersteunde functie.
Wat is de standaardplaatsing voor een sitemapregel?
Een Sitemap-richtlijn staat los van User-agent-blokken. Het moet worden gedeclareerd als een absolute URL (bijv. Sitemap: https://uwdomein.nl/sitemap.xml) en staat meestal helemaal bovenaan of onderaan het bestand.
Worden crawl-delay-regels ondersteund door Google?
Nee. Googlebot negeert Crawl-delay-richtlijnen volledig. Andere zoekbots (zoals Bingbot) en kleinere sitescrapers ondersteunen en respecteren Crawl-delay-instellingen echter nog wel.
Kan ik wildcards testen?
Ja. Standaard wildcards (zoals * en $) worden ondersteund door moderne zoekmachines en kunnen worden geparseerd om overeenkomsten te controleren.
Is mijn crawlbestand privé?
Ja. Alle robots.txt-parsing wordt strikt binnen uw browservenster afgehandeld met behulp van client-side JavaScript. Geen van uw mappen of richtlijnen wordt gelogd.