Verifiserer iscenesettelsesblokkeringer
Sørg for at iscenesettelses-, admin- og testkataloger er blokkert riktig for å forhindre at søkeindekserere indekserer dupliserte nettstedskopier.
SEO-verktøy
Robots.txt-tester
Lim inn robots.txt-innhold for å inspisere vanlige direktiver og oppdage risikable gjennomsøkingsblokkeringer.
Hvordan bruke
- 1
Lim inn innholdet i robots.txt.
- 2
Kjør testeren.
- 3
Gå gjennom direktiver og advarsler.
Raskt svar
Robots.txt Tester parser robots.txt-filen din for å fremheve aktive regler, User-agent-mål, nettstedskartlenker og gjennomsøkingsblokkeringer. Det er best for å revidere gjennomsøkingskonfigurasjoner før Google, Bing eller AI-agenter indekserer nettstedet ditt.
Nøkkelfunksjoner
- Sjekker gyldigheten av direktiver (Allow, Disallow, Sitemap, Crawl-delay).
- Grupperer regler etter User-agent-blokker for tydelig revisjon av flere gjennomsøkere.
- Fremhever tomme direktiver eller formateringsproblemer i sanntid.
- Identifiserer absolutte nettstedskart-URL-er og verifiserer samsvar med standardoppsett.
- Behandler tekst fullstendig i nettleseren, og forhindrer at gjennomsøkingskonfigurasjoner for nettstedet lekker.
- Krever null tilkoblinger til produksjons-DNS, domener eller Search Console.
Om dette verktøyet
Et nettsteds robots.txt-fil er den første portvakten for søkemotorer og AI-skrapere, og instruerer dem om hvor de har lov til å vandre og hvilke kataloger som må forbli private. En enkelt feilplassert skråstrek, feil jokertegnstjerne eller feilformatert Disallow-bane kan blokkere hele deler av domenet ditt fra søkeindeksering – eller ved et uhell avsløre hemmelige iscenesettelseskataloger for offentlige indekserere. Denne testeren oversetter rå robots-direktiver til klare, strukturerte tabeller, fremhever hvilke agenter som har gjennomsøkingsklarering og advarer deg om farlige gjennomsøkingsblokkeringer. Fordi validering kjører i ditt lokale nettleservindu, kan du trygt teste og justere reglene dine offline før du distribuerer dem live.
Vanlige scenarier
Reviderer regler for AI-skrapere
Konfigurer tilpassede regler for å tillate vanlige søkegjennomsøkere mens du spesifikt blokkerer eller struper aggressive innholdsskrapere for AI-modeller.
Validerer nettstedskartbaner
Bekreft at nettstedskartlenken din er fullstendig deklarert som en absolutt URL og plassert riktig utenfor user-agent-direktivblokker.
FAQ
Erstatter dette testing i Google Search Console?
Nei. Det er en rask lokal sjekk for vanlige feil før grundigere validering.
Kan den hente en live robots.txt-fil?
Live-henting kan legges til senere som en serverassistert funksjon.
Hva er standardplasseringen for en nettstedskartregel?
Et Sitemap-direktiv er uavhengig av User-agent-blokker. Det bør deklareres som en absolutt URL (f.eks. Sitemap: https://dittdomene.com/sitemap.xml) og sitter vanligvis helt øverst eller nederst i filen.
Støttes crawl-delay-regler av Google?
Nei. Googlebot ignorerer Crawl-delay-direktiver fullstendig. Imidlertid støtter og respekterer andre søkeroboter (som Bingbot) og mindre nettstedsskrapere fortsatt Crawl-delay-innstillinger.
Kan jeg teste jokertegn?
Ja. Standard jokertegn (som * og $) støttes av moderne søkemotorer og kan parses for å revidere treff.
Er gjennomsøkingsfilen min privat?
Ja. All parsing av robots.txt håndteres strengt i nettleservinduet ditt ved hjelp av JavaScript på klientsiden. Ingen av katalogene eller direktivene dine logges.