Átmeneti blokkok ellenőrzése
Győződjön meg arról, hogy az átmeneti, adminisztrátori és tesztkönyvtárak megfelelően vannak blokkolva, hogy megakadályozza a keresési indexelőket a webhely ismétlődő másolatainak indexelésében.
SEO eszközök
Robots.txt tesztelő
Illessze be a robots.txt tartalmát a gyakori direktívák vizsgálatához és a kockázatos feltérképezési blokkok észleléséhez.
Hogyan kell használni
- 1
Illessze be a robots.txt tartalmát.
- 2
Futtassa a tesztelőt.
- 3
Tekintse át az irányelveket és a figyelmeztetéseket.
Gyors válasz
A Robots.txt Tester elemzi a robots.txt fájlt, hogy kiemelje az aktív szabályokat, a User-agent célokat, az oldaltérkép-hivatkozásokat és a feltérképezési blokkokat. A legjobb a feltérképezési konfigurációk auditálására, mielőtt a Google, a Bing vagy az AI-ügynökök indexelnék a webhelyét.
Főbb jellemzők
- Ellenőrzi a direktívák érvényességét (Allow, Disallow, Sitemap, Crawl-delay).
- A szabályokat User-agent blokkok szerint csoportosítja az egyértelmű, több lánctalpas auditálás érdekében.
- Valós időben kiemeli az üres direktívákat vagy a formázási hibákat.
- Azonosítja az abszolút oldaltérkép URL-eket, és ellenőrzi a szabványos elrendezésnek való megfelelést.
- A szöveget teljes egészében a böngészőben dolgozza fel, megakadályozva a webhely feltérképezési konfigurációinak kiszivárgását.
- Nulla kapcsolatot igényel az éles DNS-hez, domainekhez vagy a Search Console-hoz.
Az eszközről
Egy webhely robots.txt fájlja a keresőmotorok és az AI-kaparók kezdeti kapuőre, amely utasítja őket, hogy hol barangolhatnak, és mely könyvtáraknak kell privátnak maradniuk. Egyetlen rosszul elhelyezett perjel, helytelen helyettesítő csillag vagy hibás Disallow útvonal teljesen blokkolhatja a domain teljes szakaszait a keresési indexelésből – vagy véletlenül felfedheti a titkos átmeneti könyvtárakat a nyilvános indexelők számára. Ez a tesztelő a nyers robots direktívákat világos, strukturált táblázatokká alakítja, kiemelve, hogy mely ügynökök rendelkeznek feltérképezési engedéllyel, és figyelmeztet a veszélyes feltérképezési blokkokra. Mivel az ellenőrzés a helyi böngészőablakban fut, biztonságosan tesztelheti és finomhangolhatja a szabályokat offline, mielőtt élesben telepítené őket.
Gyakori forgatókönyvek
AI-kaparó szabályok auditálása
Konfiguráljon egyéni szabályokat a mainstream keresőrobotok engedélyezéséhez, miközben kifejezetten blokkolja vagy korlátozza az agresszív AI-modell tartalomkaparókat.
Oldaltérkép-útvonalak érvényesítése
Ellenőrizze, hogy az oldaltérkép-hivatkozás teljes mértékben abszolút URL-ként van-e deklarálva, és megfelelően van-e elhelyezve a user-agent direktívablokkokon kívül.
GYIK
Helyettesíti ez a Google Search Console tesztelését?
Nem. Ez egy gyors helyi ellenőrzés a gyakori hibák kiszűrésére a mélyebb érvényesítés előtt.
Képes lekérni egy élő robots.txt fájlt?
Az élő lekérés később hozzáadható szerver által támogatott funkcióként.
Mi a szabványos elhelyezés egy oldaltérkép-szabályhoz?
A Sitemap direktíva független a User-agent blokkoktól. Abszolút URL-ként kell deklarálni (pl. Sitemap: https://yourdomain.com/sitemap.xml), és általában a fájl legtetején vagy alján található.
Támogatja a Google a crawl-delay szabályokat?
Nem. A Googlebot teljesen figyelmen kívül hagyja a Crawl-delay direktívákat. Más keresőrobotok (például a Bingbot) és a kisebb webhelykaparók azonban továbbra is támogatják és tiszteletben tartják a Crawl-delay beállításokat.
Tesztelhetem a helyettesítő karaktereket?
Igen. A szabványos helyettesítő karaktereket (például * és $) a modern keresőmotorok támogatják, és elemezhetők az egyezések auditálásához.
Privát a feltérképezési fájlom?
Igen. Minden robots.txt elemzés szigorúan a böngészőablakon belül történik kliensoldali JavaScript használatával. Egyetlen könyvtárát vagy direktíváját sem naplózzuk.