Testausestojen vahvistaminen
Varmista, että testaus-, ylläpito- ja kokeiluhakemistot on estetty oikein, jotta hakukoneiden indeksoijat eivät indeksoi sivuston kaksoiskappaleita.
SEO-työkalut
Robots.txt-testaaja
Liitä robots.txt-sisältö tarkastaaksesi yleiset direktiivit ja havaitaksesi riskialttiit indeksoinnin estot.
Kuinka käyttää
- 1
Liitä robots.txt-sisältö.
- 2
Käynnistä testaus.
- 3
Tarkista direktiivit ja varoitukset.
Pikavastaus
Robots.txt-testaaja jäsentää robots.txt-tiedostosi korostaakseen aktiiviset säännöt, User-agent-kohteet, sivustokarttalinkit ja indeksointiestot. Se on paras indeksointiasetusten auditointiin ennen kuin Google, Bing tai tekoälyagentit indeksoivat sivustosi.
Tärkeimmät ominaisuudet
- Tarkistaa direktiivien kelvollisuuden (Allow, Disallow, Sitemap, Crawl-delay).
- Ryhmittelee säännöt User-agent-lohkoittain selkeää, monen indeksoijan auditointia varten.
- Korostaa tyhjät direktiivit tai muotoiluongelmat reaaliajassa.
- Tunnistaa absoluuttiset sivustokartan URL-osoitteet ja vahvistaa vakioasettelun noudattamisen.
- Käsittelee tekstin täysin selaimessa, estäen sivuston indeksointiasetusten vuotamisen.
- Ei vaadi yhteyksiä tuotanto-DNS:ään, verkkotunnuksiin tai Search Consoleen.
Tietoja tästä työkalusta
Sivuston robots.txt-tiedosto on ensimmäinen portinvartija hakukoneille ja tekoälykaapijoille, ja se ohjeistaa niitä siitä, missä ne saavat liikkua ja mitkä hakemistot on pidettävä yksityisinä. Yksittäinen väärässä paikassa oleva kauttaviiva, virheellinen jokerimerkkitähti tai väärin muotoiltu Disallow-polku voi estää kokonaisten verkkotunnuksesi osien indeksoinnin – tai vahingossa paljastaa salaiset testihakemistot julkisille indeksoijille. Tämä testaaja kääntää raa'at robots-direktiivit selkeiksi, jäsennellyiksi taulukoiksi, korostaen, millä agenteilla on indeksointilupa, ja varoittaen sinua vaarallisista indeksointiesteistä. Koska validointi suoritetaan paikallisessa selainikkunassasi, voit turvallisesti testata ja hienosäätää sääntöjäsi offline-tilassa ennen niiden julkaisemista.
Yleiset skenaariot
Tekoälykaapijoiden sääntöjen auditointi
Määritä mukautettuja sääntöjä salliaksesi valtavirran hakukoneiden indeksoijat ja samalla estääksesi tai rajoittaaksesi aggressiivisia tekoälymallien sisällönkaapijoita.
Sivustokarttapolkujen validointi
Varmista, että sivustokarttalinkkisi on ilmoitettu kokonaan absoluuttisena URL-osoitteena ja sijoitettu oikein user-agent-direktiivilohkojen ulkopuolelle.
UKK
Korvaako tämä Google Search Console -testauksen?
Ei. Se on nopea paikallinen tarkistus yleisten virheiden varalta ennen syvällisempää validointia.
Voiko se noutaa live-robots.txt-tiedoston?
Live-nouto voidaan lisätä myöhemmin palvelinavusteisena ominaisuutena.
Mikä on sivustokarttasäännön vakiosijoitus?
Sitemap-direktiivi on riippumaton User-agent-lohkoista. Se tulisi ilmoittaa absoluuttisena URL-osoitteena (esim. Sitemap: https://yourdomain.com/sitemap.xml) ja se sijaitsee yleensä aivan tiedoston ylä- tai alaosassa.
Tukeeko Google crawl-delay-sääntöjä?
Ei. Googlebot jättää Crawl-delay-direktiivit kokonaan huomiotta. Muut hakubotit (kuten Bingbot) ja pienemmät sivustokaapijat kuitenkin tukevat ja kunnioittavat Crawl-delay-asetuksia.
Voinko testata jokerimerkkejä?
Kyllä. Nykyaikaiset hakukoneet tukevat vakiojokerimerkkejä (kuten * ja $), ja ne voidaan jäsentää osumien auditoimiseksi.
Onko indeksointitiedostoni yksityinen?
Kyllä. Kaikki robots.txt-jäsennys käsitellään tiukasti selainikkunassasi asiakaspuolen JavaScriptin avulla. Mitään hakemistoistasi tai direktiiveistäsi ei kirjata.