Vérification des blocages de test
Assurez-vous que les répertoires de test, d'administration et de staging sont bloqués correctement pour empêcher les indexeurs de recherche d'indexer des copies de site en double.
Outils SEO
Testeur de Robots.txt
Collez le contenu du robots.txt pour inspecter les directives courantes et repérer les blocages d'exploration risqués.
Comment utiliser
- 1
Collez le contenu du fichier robots.txt.
- 2
Exécutez le testeur.
- 3
Passez en revue les directives et les avertissements.
Réponse rapide
Le testeur Robots.txt analyse votre fichier robots.txt pour mettre en évidence les règles actives, les cibles User-agent, les liens de sitemap et les blocages d'exploration. Il est idéal pour auditer les configurations d'exploration avant que Google, Bing ou les agents d'IA n'indexent votre site.
Fonctionnalités clés
- Vérifie la validité des directives (Allow, Disallow, Sitemap, Crawl-delay).
- Regroupe les règles par blocs User-agent pour un audit clair et multi-crawlers.
- Met en évidence les directives vides ou les problèmes de formatage en temps réel.
- Identifie les URL absolues de sitemap et vérifie la conformité de la disposition standard.
- Traite le texte entièrement dans le navigateur, empêchant les configurations d'exploration du site de fuiter.
- Ne nécessite aucune connexion aux DNS de production, aux domaines ou à la Search Console.
À propos de cet outil
Le fichier robots.txt d'un site est le premier gardien pour les moteurs de recherche et les scrapers d'IA, leur indiquant où ils sont autorisés à aller et quels répertoires doivent rester privés. Une seule barre oblique mal placée, une étoile générique incorrecte ou un chemin Disallow mal formé peut bloquer complètement des sections entières de votre domaine de l'indexation de recherche, ou exposer accidentellement des répertoires de test secrets aux indexeurs publics. Ce testeur traduit les directives brutes des robots en tableaux clairs et structurés, mettant en évidence les agents qui ont l'autorisation d'explorer et vous avertissant des blocages d'exploration dangereux. Étant donné que la validation s'exécute dans la fenêtre de votre navigateur local, vous pouvez tester et ajuster vos règles hors ligne en toute sécurité avant de les déployer en direct.
Scénarios courants
Audit des règles des scrapers d'IA
Configurez des règles personnalisées pour autoriser les robots d'exploration de recherche grand public tout en bloquant ou en limitant spécifiquement les scrapers de contenu de modèles d'IA agressifs.
Validation des chemins de sitemap
Vérifiez que votre lien de sitemap est entièrement déclaré comme une URL absolue et placé correctement en dehors des blocs de directives user-agent.
FAQ
Cela remplace-t-il les tests de la Google Search Console ?
Non. Il s'agit d'une vérification locale rapide des erreurs courantes avant une validation plus approfondie.
Peut-il récupérer un fichier robots.txt en direct ?
La récupération en direct peut être ajoutée ultérieurement en tant que fonctionnalité assistée par serveur.
Quel est l'emplacement standard pour une règle de sitemap ?
Une directive Sitemap est indépendante des blocs User-agent. Elle doit être déclarée comme une URL absolue (par exemple Sitemap: https://votredomaine.com/sitemap.xml) et se trouve généralement tout en haut ou tout en bas du fichier.
Les règles crawl-delay sont-elles prises en charge par Google ?
Non. Googlebot ignore complètement les directives Crawl-delay. Cependant, d'autres robots de recherche (comme Bingbot) et des scrapers de sites mineurs prennent toujours en charge et respectent les paramètres Crawl-delay.
Puis-je tester des caractères génériques ?
Oui. Les caractères génériques standard (comme * et $) sont pris en charge par les moteurs de recherche modernes et peuvent être analysés pour auditer les correspondances.
Mon fichier d'exploration est-il privé ?
Oui. Toute l'analyse robots.txt est gérée strictement dans la fenêtre de votre navigateur à l'aide de JavaScript côté client. Aucun de vos répertoires ou directives n'est enregistré.