ステージングブロックの検証
検索インデクサーが重複するサイトのコピーをインデックスに登録しないように、ステージング、管理、およびテストディレクトリが正しくブロックされていることを確認します。
SEOツール
Robots.txtテスター
robots.txtのコンテンツを貼り付けて、一般的なディレクティブを検査し、リスクのあるクロールブロックを見つけます。
使い方
- 1
robots.txtのコンテンツを貼り付けます。
- 2
テスターを実行します。
- 3
ディレクティブと警告を確認します。
簡単な回答
Robots.txt Testerは、robots.txtファイルを解析して、アクティブルール、User-agentターゲット、サイトマップリンク、およびクロールブロックを強調表示します。Google、Bing、またはAIエージェントがサイトをインデックスに登録する前に、クロール構成を監査するのに最適です。
主な機能
- ディレクティブの有効性（Allow、Disallow、Sitemap、Crawl-delay）をチェックします。
- 明確なマルチクローラー監査のために、User-agentブロックごとにルールをグループ化します。
- 空のディレクティブやフォーマットの問題をリアルタイムで強調表示します。
- 絶対サイトマップURLを識別し、標準レイアウトのコンプライアンスを検証します。
- ブラウザ内でテキストを完全に処理し、サイトのクロール構成が漏洩するのを防ぎます。
- 本番DNS、ドメイン、またはSearch Consoleへの接続は一切必要ありません。
このツールについて
サイトのrobots.txtファイルは、検索エンジンやAIスクレイパーの最初のゲートキーパーであり、どこを巡回できるか、どのディレクトリを非公開にする必要があるかを指示します。スラッシュの配置ミス、不正確なワイルドカードの星印、または不正な形式のDisallowパスが1つあるだけで、ドメインのセクション全体が検索インデックスから完全にブロックされたり、秘密のステージングディレクトリが誤って公開インデクサーに公開されたりする可能性があります。このテスターは、生のrobotsディレクティブを明確で構造化されたテーブルに変換し、どのエージェントがクロール許可を持っているかを強調表示し、危険なクロールブロックを警告します。検証はローカルブラウザウィンドウ内で実行されるため、ライブでデプロイする前に、オフラインでルールを安全にテストおよび微調整できます。
よくあるシナリオ
AIスクレイパールールの監査
主流の検索クローラーを許可しつつ、攻撃的なAIモデルのコンテンツスクレイパーを具体的にブロックまたはスロットルするようにカスタムルールを構成します。
サイトマップパスの検証
サイトマップリンクが絶対URLとして完全に宣言され、ユーザーエージェントディレクティブブロックの外側に正しく配置されていることを確認します。
よくある質問
これはGoogle Search Consoleのテストの代わりになりますか？
いいえ。これは、より詳細な検証を行う前に、よくある間違いをローカルですばやく確認するためのものです。
ライブのrobots.txtファイルを取得できますか？
ライブ取得は、サーバー支援機能として後で追加できます。
サイトマップルールの標準的な配置は何ですか？
Sitemapディレクティブは、User-agentブロックとは無関係です。絶対URL（例：Sitemap: https://yourdomain.com/sitemap.xml）として宣言する必要があり、通常はファイルの一番上または一番下に配置されます。
Crawl-delayルールはGoogleでサポートされていますか？
いいえ。GooglebotはCrawl-delayディレクティブを完全に無視します。ただし、他の検索ボット（Bingbotなど）やマイナーなサイトスクレイパーは、引き続きCrawl-delay設定をサポートし、尊重します。
ワイルドカードをテストできますか？
はい。標準のワイルドカード（*や$など）は最新の検索エンジンでサポートされており、解析して一致を監査できます。
クロールファイルは非公開ですか？
はい。すべてのrobots.txt解析は、クライアント側のJavaScriptを使用してブラウザウィンドウ内で厳密に処理されます。ディレクトリやディレクティブがログに記録されることはありません。