Verifica dei blocchi di staging
Assicurati che le directory di staging, di amministrazione e di test siano bloccate correttamente per impedire agli indicizzatori di ricerca di indicizzare copie duplicate del sito.
Strumenti SEO
Tester Robots.txt
Incolla il contenuto di robots.txt per ispezionare le direttive comuni e individuare i blocchi di scansione rischiosi.
Come usare
- 1
Incolla il contenuto del file robots.txt.
- 2
Esegui il tester.
- 3
Esamina le direttive e gli avvisi.
Risposta rapida
Il Tester Robots.txt analizza il tuo file robots.txt per evidenziare le regole attive, i target User-agent, i link alla sitemap e i blocchi di scansione. È l'ideale per controllare le configurazioni di scansione prima che Google, Bing o gli agenti IA indicizzino il tuo sito.
Funzionalità principali
- Controlla la validità delle direttive (Allow, Disallow, Sitemap, Crawl-delay).
- Raggruppa le regole per blocchi User-agent per un controllo chiaro e multi-crawler.
- Evidenzia direttive vuote o problemi di formattazione in tempo reale.
- Identifica gli URL assoluti della sitemap e verifica la conformità al layout standard.
- Elabora il testo interamente nel browser, impedendo la fuga di configurazioni di scansione del sito.
- Richiede zero connessioni a DNS di produzione, domini o Search Console.
Informazioni su questo strumento
Il file robots.txt di un sito è il guardiano iniziale per i motori di ricerca e gli scraper IA, istruendoli su dove sono autorizzati a vagare e quali directory devono rimanere private. Una singola barra fuori posto, un asterisco jolly errato o un percorso Disallow malformato possono bloccare completamente intere sezioni del tuo dominio dall'indicizzazione di ricerca, o esporre accidentalmente directory di staging segrete a indicizzatori pubblici. Questo tester traduce le direttive robots grezze in tabelle chiare e strutturate, evidenziando quali agenti hanno l'autorizzazione di scansione e avvisandoti di pericolosi blocchi di scansione. Poiché la convalida viene eseguita all'interno della finestra del tuo browser locale, puoi testare e modificare in sicurezza le tue regole offline prima di distribuirle live.
Scenari comuni
Controllo delle regole degli scraper IA
Configura regole personalizzate per consentire i crawler di ricerca tradizionali bloccando o limitando specificamente gli scraper di contenuti aggressivi dei modelli IA.
Convalida dei percorsi della sitemap
Verifica che il link della tua sitemap sia completamente dichiarato come URL assoluto e posizionato correttamente al di fuori dei blocchi di direttive user-agent.
FAQ
Questo sostituisce il test di Google Search Console?
No. È un rapido controllo locale per gli errori comuni prima di una convalida più approfondita.
Può recuperare un file robots.txt live?
Il recupero live può essere aggiunto in seguito come funzionalità assistita dal server.
Qual è il posizionamento standard per una regola sitemap?
Una direttiva Sitemap è indipendente dai blocchi User-agent. Dovrebbe essere dichiarata come URL assoluto (es. Sitemap: https://tuodominio.com/sitemap.xml) e in genere si trova in cima o in fondo al file.
Le regole crawl-delay sono supportate da Google?
No. Googlebot ignora completamente le direttive Crawl-delay. Tuttavia, altri bot di ricerca (come Bingbot) e scraper di siti minori supportano e rispettano ancora le impostazioni Crawl-delay.
Posso testare i caratteri jolly?
Sì. I caratteri jolly standard (come * e $) sono supportati dai moderni motori di ricerca e possono essere analizzati per controllare le corrispondenze.
Il mio file di scansione è privato?
Sì. Tutta l'analisi del file robots.txt viene gestita rigorosamente all'interno della finestra del tuo browser utilizzando JavaScript lato client. Nessuna delle tue directory o direttive viene registrata.