스테이징 차단 확인
검색 색인 생성기가 중복 사이트 복사본을 색인화하지 못하도록 스테이징, 관리자 및 테스트 디렉토리가 올바르게 차단되었는지 확인합니다.
SEO 도구
Robots.txt 테스터
일반적인 지시문을 검사하고 위험한 크롤링 차단을 발견하려면 Robots.txt 콘텐츠를 붙여넣으세요.
사용 방법
- 1
robots.txt 내용을 붙여넣으세요.
- 2
테스터를 실행하세요.
- 3
지시문과 경고를 검토하세요.
빠른 답변
Robots.txt Tester는 robots.txt 파일을 구문 분석하여 활성 규칙, User-agent 대상, 사이트맵 링크 및 크롤링 차단을 강조 표시합니다. Google, Bing 또는 AI 에이전트가 사이트를 색인화하기 전에 크롤링 구성을 감사하는 데 가장 적합합니다.
주요 기능
- 지시문 유효성(Allow, Disallow, Sitemap, Crawl-delay)을 확인합니다.
- 명확한 다중 크롤러 감사를 위해 User-agent 블록별로 규칙을 그룹화합니다.
- 빈 지시문이나 형식 문제를 실시간으로 강조 표시합니다.
- 절대 사이트맵 URL을 식별하고 표준 레이아웃 준수를 확인합니다.
- 브라우저 내에서 텍스트를 완전히 처리하여 사이트 크롤링 구성이 유출되는 것을 방지합니다.
- 프로덕션 DNS, 도메인 또는 Search Console에 대한 연결이 전혀 필요하지 않습니다.
이 도구에 대하여
사이트의 robots.txt 파일은 검색 엔진 및 AI 스크래퍼의 초기 게이트키퍼 역할을 하며, 허용되는 위치와 비공개로 유지해야 하는 디렉토리를 지시합니다. 잘못 배치된 슬래시, 잘못된 와일드카드 별표 또는 잘못된 형식의 Disallow 경로는 도메인의 전체 섹션이 검색 색인화되는 것을 완전히 차단하거나 실수로 비밀 스테이징 디렉토리를 공개 색인 생성기에 노출시킬 수 있습니다. 이 테스터는 원시 로봇 지시문을 명확하고 구조화된 테이블로 변환하여 크롤링 권한이 있는 에이전트를 강조 표시하고 위험한 크롤링 차단을 경고합니다. 유효성 검사는 로컬 브라우저 창 내에서 실행되므로 라이브로 배포하기 전에 오프라인에서 규칙을 안전하게 테스트하고 조정할 수 있습니다.
일반적인 시나리오
AI 스크래퍼 규칙 감사
주류 검색 크롤러를 허용하는 동시에 공격적인 AI 모델 콘텐츠 스크래퍼를 구체적으로 차단하거나 제한하도록 사용자 지정 규칙을 구성합니다.
사이트맵 경로 유효성 검사
사이트맵 링크가 절대 URL로 완전히 선언되었고 사용자 에이전트 지시문 블록 외부에 올바르게 배치되었는지 확인합니다.
FAQ
이것이 Google Search Console 테스트를 대체하나요?
아니요. 더 깊은 유효성 검사 전에 일반적인 실수를 확인하기 위한 빠른 로컬 검사입니다.
라이브 robots.txt 파일을 가져올 수 있나요?
라이브 가져오기는 나중에 서버 지원 기능으로 추가될 수 있습니다.
사이트맵 규칙의 표준 위치는 어디인가요?
Sitemap 지시문은 User-agent 블록과 독립적입니다. 절대 URL(예: Sitemap: https://yourdomain.com/sitemap.xml)로 선언되어야 하며 일반적으로 파일의 맨 위나 맨 아래에 위치합니다.
크롤링 지연 규칙이 Google에서 지원되나요?
아니요. Googlebot은 Crawl-delay 지시문을 완전히 무시합니다. 그러나 다른 검색 봇(예: Bingbot) 및 소규모 사이트 스크래퍼는 여전히 Crawl-delay 설정을 지원하고 존중합니다.
와일드카드를 테스트할 수 있나요?
예. 표준 와일드카드(* 및 $ 등)는 최신 검색 엔진에서 지원되며 일치 항목을 감사하기 위해 구문 분석할 수 있습니다.
내 크롤링 파일은 비공개인가요?
예. 모든 robots.txt 구문 분석은 클라이언트 측 JavaScript를 사용하여 브라우저 창 내에서 엄격하게 처리됩니다. 디렉토리나 지시문은 기록되지 않습니다.