Bekræftelse af staging-blokeringer
Sørg for, at staging-, admin- og testmapper er blokeret korrekt for at forhindre søgeindeksere i at indeksere duplikerede webstedskopier.
SEO-værktøjer
Robots.txt-tester
Indsæt robots.txt-indhold for at undersøge almindelige direktiver og opdage risikable crawl-blokeringer.
Sådan bruges det
- 1
Indsæt robots.txt-indhold.
- 2
Kør testeren.
- 3
Gennemgå direktiver og advarsler.
Hurtigt svar
Robots.txt Tester parser din robots.txt-fil for at fremhæve aktive regler, User-agent-mål, sitemap-links og crawl-blokeringer. Det er bedst til at gennemgå crawl-konfigurationer, før Google, Bing eller AI-agenter indekserer dit websted.
Nøglefunktioner
- Tjekker direktivers gyldighed (Allow, Disallow, Sitemap, Crawl-delay).
- Grupperer regler efter User-agent-blokke for en klar, multi-crawler-gennemgang.
- Fremhæver tomme direktiver eller formateringsproblemer i realtid.
- Identificerer absolutte sitemap-URL'er og bekræfter overholdelse af standardlayout.
- Behandler tekst fuldt ud i browseren, hvilket forhindrer lækage af webstedets crawl-konfigurationer.
- Kræver ingen forbindelser til produktions-DNS, domæner eller Search Console.
Om dette værktøj
Et websteds robots.txt-fil er den indledende portvagt for søgemaskiner og AI-scrapere, der instruerer dem i, hvor de må færdes, og hvilke mapper der skal forblive private. En enkelt fejlplaceret skråstreg, forkert wildcard-stjerne eller forkert udformet Disallow-sti kan fuldstændig blokere hele sektioner af dit domæne fra søgeindeksering – eller ved et uheld afsløre hemmelige staging-mapper for offentlige indeksere. Denne tester oversætter rå robots-direktiver til klare, strukturerede tabeller, der fremhæver, hvilke agenter der har crawl-tilladelse, og advarer dig om farlige crawl-blokeringer. Fordi valideringen kører i dit lokale browservindue, kan du trygt teste og justere dine regler offline, før du implementerer dem live.
Almindelige scenarier
Gennemgang af AI-scraper-regler
Konfigurer brugerdefinerede regler for at tillade almindelige søge-crawlere, mens du specifikt blokerer eller begrænser aggressive AI-model-indholdsscrapere.
Validering af sitemap-stier
Bekræft, at dit sitemap-link er fuldt erklæret som en absolut URL og placeret korrekt uden for user-agent-direktivblokke.
FAQ
Erstatter dette test i Google Search Console?
Nej. Det er et hurtigt lokalt tjek for almindelige fejl før dybere validering.
Kan den hente en live robots.txt-fil?
Live-hentning kan tilføjes senere som en server-assisteret funktion.
Hvad er standardplaceringen for en sitemap-regel?
Et Sitemap-direktiv er uafhængigt af User-agent-blokke. Det bør erklæres som en absolut URL (f.eks. Sitemap: https://ditdomæne.dk/sitemap.xml) og sidder typisk helt i toppen eller bunden af filen.
Understøttes crawl-delay-regler af Google?
Nej. Googlebot ignorerer Crawl-delay-direktiver fuldstændigt. Andre søgebots (som Bingbot) og mindre webstedsscrapere understøtter og respekterer dog stadig Crawl-delay-indstillinger.
Kan jeg teste wildcards?
Ja. Standard wildcards (som * og $) understøttes af moderne søgemaskiner og kan parses for at gennemgå match.
Er min crawl-fil privat?
Ja. Al robots.txt-parsing håndteres udelukkende i dit browservindue ved hjælp af JavaScript på klientsiden. Ingen af dine mapper eller direktiver bliver logget.