Verificación de bloqueos de ensayo
Asegúrese de que los directorios de ensayo, administración y prueba estén bloqueados correctamente para evitar que los indexadores de búsqueda indexen copias duplicadas del sitio.
Herramientas SEO
Probador de Robots.txt
Pega el contenido de robots.txt para inspeccionar directivas comunes y detectar bloqueos de rastreo riesgosos.
Cómo usar
- 1
Pega el contenido del archivo robots.txt.
- 2
Ejecuta la prueba.
- 3
Revisa las directivas y advertencias.
Respuesta rápida
El probador de Robots.txt analiza su archivo robots.txt para resaltar las reglas activas, los objetivos de User-agent, los enlaces de sitemaps y los bloqueos de rastreo. Es ideal para auditar las configuraciones de rastreo antes de que Google, Bing o los agentes de IA indexen su sitio.
Características principales
- Comprueba la validez de las directivas (Allow, Disallow, Sitemap, Crawl-delay).
- Agrupa las reglas por bloques de User-agent para una auditoría clara de múltiples rastreadores.
- Resalta las directivas vacías o los problemas de formato en tiempo real.
- Identifica las URL absolutas de los sitemaps y verifica el cumplimiento del diseño estándar.
- Procesa el texto completamente en el navegador, evitando que se filtren las configuraciones de rastreo del sitio.
- Requiere cero conexiones a DNS de producción, dominios o Search Console.
Acerca de esta herramienta
El archivo robots.txt de un sitio es el guardián inicial para los motores de búsqueda y los raspadores de IA, instruyéndoles sobre dónde se les permite deambular y qué directorios deben permanecer privados. Una sola barra mal colocada, una estrella comodín incorrecta o una ruta Disallow mal formada pueden bloquear completamente secciones enteras de su dominio de la indexación de búsqueda, o exponer accidentalmente directorios de ensayo secretos a indexadores públicos. Este probador traduce las directivas de robots sin procesar en tablas claras y estructuradas, destacando qué agentes tienen autorización de rastreo y advirtiéndole de bloqueos de rastreo peligrosos. Debido a que la validación se ejecuta dentro de la ventana de su navegador local, puede probar y ajustar sus reglas de forma segura sin conexión antes de implementarlas en vivo.
Escenarios comunes
Auditoría de reglas de raspadores de IA
Configure reglas personalizadas para permitir los rastreadores de búsqueda principales mientras bloquea o limita específicamente los raspadores de contenido de modelos de IA agresivos.
Validación de rutas de sitemaps
Verifique que el enlace de su sitemap esté completamente declarado como una URL absoluta y colocado correctamente fuera de los bloques de directivas de user-agent.
Preguntas frecuentes
¿Reemplaza esto a la prueba de Google Search Console?
No. Es una comprobación local rápida de errores comunes antes de una validación más profunda.
¿Puede obtener un archivo robots.txt en vivo?
La obtención en vivo se puede añadir más adelante como una función asistida por el servidor.
¿Cuál es la ubicación estándar para una regla de sitemap?
Una directiva Sitemap es independiente de los bloques de User-agent. Debe declararse como una URL absoluta (por ejemplo, Sitemap: https://yourdomain.com/sitemap.xml) y normalmente se encuentra en la parte superior o inferior del archivo.
¿Google admite las reglas de crawl-delay?
No. Googlebot ignora por completo las directivas Crawl-delay. Sin embargo, otros bots de búsqueda (como Bingbot) y raspadores de sitios menores todavía admiten y respetan la configuración de Crawl-delay.
¿Puedo probar comodines?
Sí. Los comodines estándar (como * y $) son compatibles con los motores de búsqueda modernos y se pueden analizar para auditar coincidencias.
¿Es privado mi archivo de rastreo?
Sí. Todo el análisis de robots.txt se maneja estrictamente dentro de la ventana de su navegador utilizando JavaScript del lado del cliente. Ninguno de sus directorios o directivas se registra.