Επαλήθευση αποκλεισμών περιβάλλοντος δοκιμών (staging)
Βεβαιωθείτε ότι οι κατάλογοι staging, διαχειριστή και δοκιμών έχουν αποκλειστεί σωστά για να αποτρέψετε τους ανιχνευτές αναζήτησης από την ευρετηρίαση διπλότυπων αντιγράφων του ιστότοπου.
Εργαλεία SEO
Ελεγκτής Robots.txt
Επικολλήστε το περιεχόμενο του robots.txt για να επιθεωρήσετε κοινές οδηγίες και να εντοπίσετε επικίνδυνους αποκλεισμούς ανίχνευσης.
Πώς να το χρησιμοποιήσετε
- 1
Επικολλήστε το περιεχόμενο του robots.txt.
- 2
Εκτελέστε τον ελεγκτή.
- 3
Ελέγξτε τις οδηγίες και τις προειδοποιήσεις.
Γρήγορη απάντηση
Το Robots.txt Tester αναλύει το αρχείο robots.txt για να επισημάνει ενεργούς κανόνες, στόχους User-agent, συνδέσμους sitemap και αποκλεισμούς ανίχνευσης. Είναι ιδανικό για τον έλεγχο των ρυθμίσεων ανίχνευσης πριν η Google, το Bing ή οι πράκτορες AI δημιουργήσουν ευρετήριο για τον ιστότοπό σας.
Βασικά χαρακτηριστικά
- Ελέγχει την εγκυρότητα των οδηγιών (Allow, Disallow, Sitemap, Crawl-delay).
- Ομαδοποιεί τους κανόνες ανά μπλοκ User-agent για σαφή έλεγχο πολλαπλών ανιχνευτών.
- Επισημαίνει κενές οδηγίες ή ζητήματα μορφοποίησης σε πραγματικό χρόνο.
- Εντοπίζει απόλυτες διευθύνσεις URL sitemap και επαληθεύει τη συμμόρφωση με την τυπική διάταξη.
- Επεξεργάζεται το κείμενο πλήρως στο πρόγραμμα περιήγησης, αποτρέποντας τη διαρροή των ρυθμίσεων ανίχνευσης του ιστότοπου.
- Απαιτεί μηδενικές συνδέσεις με DNS παραγωγής, τομείς ή το Search Console.
Σχετικά με αυτό το εργαλείο
Το αρχείο robots.txt ενός ιστότοπου είναι ο αρχικός φύλακας για τις μηχανές αναζήτησης και τους AI scrapers, καθοδηγώντας τους πού επιτρέπεται να περιηγηθούν και ποιοι κατάλογοι πρέπει να παραμείνουν ιδιωτικοί. Μια απλή λανθασμένη κάθετος, ένα λάθος αστέρι μπαλαντέρ ή μια κακοσχηματισμένη διαδρομή Disallow μπορεί να αποκλείσει εντελώς ολόκληρα τμήματα του τομέα σας από την ευρετηρίαση αναζήτησης — ή να εκθέσει κατά λάθος μυστικούς καταλόγους δοκιμών σε δημόσιους ανιχνευτές. Αυτός ο ελεγκτής μεταφράζει τις ακατέργαστες οδηγίες robots σε σαφείς, δομημένους πίνακες, επισημαίνοντας ποιοι πράκτορες έχουν άδεια ανίχνευσης και προειδοποιώντας σας για επικίνδυνους αποκλεισμούς ανίχνευσης. Επειδή η επικύρωση εκτελείται μέσα στο τοπικό παράθυρο του προγράμματος περιήγησής σας, μπορείτε να δοκιμάσετε και να τροποποιήσετε με ασφάλεια τους κανόνες σας εκτός σύνδεσης πριν τους αναπτύξετε ζωντανά.
Συνήθη σενάρια
Έλεγχος κανόνων για AI scrapers
Διαμορφώστε προσαρμοσμένους κανόνες για να επιτρέψετε τους κύριους ανιχνευτές αναζήτησης, ενώ αποκλείετε ή περιορίζετε συγκεκριμένα τους επιθετικούς scrapers περιεχομένου μοντέλων AI.
Επικύρωση διαδρομών sitemap
Βεβαιωθείτε ότι ο σύνδεσμος του sitemap σας έχει δηλωθεί πλήρως ως απόλυτο URL και έχει τοποθετηθεί σωστά εκτός των μπλοκ οδηγιών user-agent.
Συχνές ερωτήσεις
Αντικαθιστά αυτό τη δοκιμή του Google Search Console;
Όχι. Είναι ένας γρήγορος τοπικός έλεγχος για κοινά λάθη πριν από βαθύτερη επικύρωση.
Μπορεί να ανακτήσει ένα ζωντανό αρχείο robots.txt;
Η ζωντανή ανάκτηση μπορεί να προστεθεί αργότερα ως λειτουργία με υποστήριξη διακομιστή.
Ποια είναι η τυπική τοποθέτηση για έναν κανόνα sitemap;
Μια οδηγία Sitemap είναι ανεξάρτητη από τα μπλοκ User-agent. Θα πρέπει να δηλώνεται ως απόλυτο URL (π.χ. Sitemap: https://yourdomain.com/sitemap.xml) και συνήθως βρίσκεται στην κορυφή ή στο κάτω μέρος του αρχείου.
Υποστηρίζονται οι κανόνες crawl-delay από την Google;
Όχι. Το Googlebot αγνοεί εντελώς τις οδηγίες Crawl-delay. Ωστόσο, άλλα bots αναζήτησης (όπως το Bingbot) και μικρότεροι scrapers ιστότοπων εξακολουθούν να υποστηρίζουν και να σέβονται τις ρυθμίσεις Crawl-delay.
Μπορώ να δοκιμάσω χαρακτήρες μπαλαντέρ (wildcards);
Ναι. Οι τυπικοί χαρακτήρες μπαλαντέρ (όπως * και $) υποστηρίζονται από τις σύγχρονες μηχανές αναζήτησης και μπορούν να αναλυθούν για τον έλεγχο αντιστοιχιών.
Είναι ιδιωτικό το αρχείο ανίχνευσής μου;
Ναι. Όλη η ανάλυση του robots.txt γίνεται αυστηρά μέσα στο παράθυρο του προγράμματος περιήγησής σας χρησιμοποιώντας JavaScript από την πλευρά του πελάτη. Κανένας από τους καταλόγους ή τις οδηγίες σας δεν καταγράφεται.