驗證測試環境封鎖
確保測試、管理與測試目錄被正確封鎖，以防止搜尋索引器將重複的網站副本建立索引。
SEO 工具
Robots.txt 測試工具
貼上 robots.txt 內容以檢查常見指令並找出有風險的爬取封鎖。
如何使用
- 1
貼上 robots.txt 內容。
- 2
執行測試工具。
- 3
檢閱指令與警告。
快速解答
Robots.txt Tester 會解析您的 robots.txt 檔案，以反白顯示作用中的規則、User-agent 目標、網站地圖連結與檢索封鎖。它非常適合在 Google、Bing 或 AI 代理程式建立您的網站索引之前，用來稽核檢索設定。
主要功能
- 檢查指令的有效性（Allow、Disallow、Sitemap、Crawl-delay）。
- 依 User-agent 區塊將規則分組，以便進行清晰的多爬蟲稽核。
- 即時反白顯示空白指令或格式問題。
- 識別絕對網站地圖 URL 並驗證是否符合標準版面配置。
- 完全在瀏覽器中處理文字，防止網站檢索設定外洩。
- 完全不需要連線至正式環境的 DNS、網域或 Search Console。
關於此工具
網站的 robots.txt 檔案是搜尋引擎與 AI 爬蟲的初始守門員，指示它們允許瀏覽的位置以及必須保持私密的目錄。一個放錯位置的斜線、錯誤的萬用字元星號或格式錯誤的 Disallow 路徑，都可能完全阻擋您網域的整個區塊被搜尋索引——或意外將機密的測試目錄暴露給公開索引器。此測試工具會將原始的 robots 指令轉換為清晰、結構化的表格，反白顯示哪些代理程式具有檢索權限，並警告您危險的檢索封鎖。由於驗證是在您的本機瀏覽器視窗內執行，因此您可以在正式部署之前，安全地離線測試與調整您的規則。
常見情境
稽核 AI 爬蟲規則
設定自訂規則以允許主流搜尋爬蟲，同時特別封鎖或限制具侵略性的 AI 模型內容爬蟲。
驗證網站地圖路徑
驗證您的網站地圖連結是否已完整宣告為絕對 URL，並正確放置在 user-agent 指令區塊之外。
常見問題
這能取代 Google Search Console 測試嗎？
不能。這是在進行更深入驗證前，針對常見錯誤的快速本機檢查。
它可以擷取即時的 robots.txt 檔案嗎？
即時擷取功能稍後可作為伺服器輔助功能加入。
網站地圖規則的標準放置位置為何？
Sitemap 指令獨立於 User-agent 區塊。它應宣告為絕對 URL（例如 Sitemap: https://yourdomain.com/sitemap.xml），且通常位於檔案的最頂端或最底端。
Google 支援 crawl-delay 規則嗎？
不支援。Googlebot 完全忽略 Crawl-delay 指令。然而，其他搜尋機器人（如 Bingbot）與次要網站爬蟲仍支援並遵守 Crawl-delay 設定。
我可以測試萬用字元嗎？
可以。現代搜尋引擎支援標準萬用字元（如 * 與 $），並可進行解析以稽核相符項目。
我的檢索檔案是私密的嗎？
是的。所有 robots.txt 解析都嚴格在您的瀏覽器視窗內使用用戶端 JavaScript 處理。您的任何目錄或指令都不會被記錄。