Iestudēšanas bloku pārbaude
Pārliecinieties, ka iestudēšanas, administratora un testa direktoriji ir pareizi bloķēti, lai novērstu meklēšanas indeksētāju dublētu vietņu kopiju indeksēšanu.
SEO rīki
Robots.txt testētājs
Ielīmējiet robots.txt saturu, lai pārbaudītu biežākās direktīvas un pamanītu riskantus pārmeklēšanas blokus.
Kā lietot
- 1
Ielīmējiet robots.txt saturu.
- 2
Palaidiet testētāju.
- 3
Pārskatiet direktīvas un brīdinājumus.
Ātrā atbilde
Robots.txt Tester parsē jūsu robots.txt failu, lai izceltu aktīvos noteikumus, User-agent mērķus, vietnes kartes saites un rāpošanas blokus. Tas ir vislabāk piemērots rāpošanas konfigurāciju auditēšanai pirms Google, Bing vai AI aģenti indeksē jūsu vietni.
Galvenās funkcijas
- Pārbauda direktīvu derīgumu (Allow, Disallow, Sitemap, Crawl-delay).
- Grupē noteikumus pēc User-agent blokiem skaidram, vairāku rāpuļprogrammu auditam.
- Reāllaikā izceļ tukšas direktīvas vai formatēšanas problēmas.
- Identificē absolūtos vietnes kartes URL un pārbauda atbilstību standarta izkārtojumam.
- Pilnībā apstrādā tekstu pārlūkprogrammā, novēršot vietnes rāpošanas konfigurāciju noplūdi.
- Neprasa nekādus savienojumus ar ražošanas DNS, domēniem vai Search Console.
Par šo rīku
Vietnes robots.txt fails ir sākotnējais vārtsargs meklētājprogrammām un AI skrāpjiem, norādot tiem, kur viņiem ir atļauts klīst un kuriem direktorijiem jāpaliek privātiem. Viena nepareizi novietota slīpsvītra, nepareiza aizstājējzīmes zvaigznīte vai nepareizi formatēts Disallow ceļš var pilnībā bloķēt veselas jūsu domēna sadaļas no meklēšanas indeksēšanas — vai nejauši atklāt slepenus iestudēšanas direktorijus publiskiem indeksētājiem. Šis testētājs pārvērš neapstrādātas robots direktīvas skaidrās, strukturētās tabulās, izceļot, kuriem aģentiem ir rāpošanas atļauja, un brīdinot jūs par bīstamiem rāpošanas blokiem. Tā kā validācija darbojas jūsu lokālajā pārlūkprogrammas logā, varat droši pārbaudīt un pielāgot savus noteikumus bezsaistē pirms to izvietošanas tiešraidē.
Biežākie scenāriji
AI skrāpju noteikumu audits
Konfigurējiet pielāgotus noteikumus, lai atļautu galvenos meklēšanas rāpuļprogrammas, vienlaikus īpaši bloķējot vai ierobežojot agresīvus AI modeļu satura skrāpjus.
Vietnes kartes ceļu validēšana
Pārbaudiet, vai jūsu vietnes kartes saite ir pilnībā deklarēta kā absolūts URL un pareizi novietota ārpus user-agent direktīvu blokiem.
Biežāk uzdotie jautājumi
Vai tas aizstāj Google Search Console testēšanu?
Nē. Tā ir ātra lokāla pārbaude biežāk pieļautajām kļūdām pirms dziļākas validācijas.
Vai tas var iegūt tiešsaistes robots.txt failu?
Tiešsaistes iegūšanu var pievienot vēlāk kā servera atbalstītu funkciju.
Kāds ir standarta izvietojums vietnes kartes noteikumam?
Sitemap direktīva ir neatkarīga no User-agent blokiem. Tā jādeklarē kā absolūts URL (piemēram, Sitemap: https://yourdomain.com/sitemap.xml) un parasti atrodas faila pašā augšā vai apakšā.
Vai Google atbalsta crawl-delay noteikumus?
Nē. Googlebot pilnībā ignorē Crawl-delay direktīvas. Tomēr citi meklēšanas roboti (piemēram, Bingbot) un nelieli vietņu skrāpji joprojām atbalsta un ievēro Crawl-delay iestatījumus.
Vai es varu pārbaudīt aizstājējzīmes?
Jā. Standarta aizstājējzīmes (piemēram, * un $) atbalsta mūsdienu meklētājprogrammas, un tās var parsēt, lai pārbaudītu atbilstības.
Vai mans rāpošanas fails ir privāts?
Jā. Visa robots.txt parsēšana tiek apstrādāta stingri jūsu pārlūkprogrammas logā, izmantojot klienta puses JavaScript. Neviens no jūsu direktorijiem vai direktīvām netiek reģistrēts.