Robots.txt 검사기

관련 추천

사용 사례

• 페이지가 늦게 색인될 때 robots.txt가 해당 경로를 차단했는지 확인
• 사이트 변경 후 새로운 크롤러 규칙이 예상대로 적용되었는지 검증하여 구 규칙 잔여 방지
• 특정 URL 경로가 대상 크롤러에 허용되는지 테스트하여 Allow/Disallow 구성 확인
• Sitemap 선언을 추출하여 사이트맵 주소가 올바르게 구성되었는지 확인하여 검색 엔진 발견 지원

주요 기능

• 지정된 경로 허용 여부 직접 판단: 수동으로 규칙을 추론할 필요 없음
• 색인 이상 시 먼저 확인: 디렉토리 오차단, 규칙 오적용을 쉽게 발견
• Sitemap 선언 확인: 크롤링 규칙과 사이트맵 정보를 함께 확인
• 변경 후 재검사에 유용: CMS 업데이트, 디렉토리 조정, 규칙 변경 후 문제 발견

이용 방법

1. 사이트 도메인 또는 robots.txt 전체 URL 주소를 입력하세요
2. 도구가 자동으로 robots.txt 규칙 내용을 가져와 파싱하여 구조화하여 표시
3. 테스트할 경로를 입력하여 대상 크롤러 크롤링 허용 여부를 확인하세요
4. Sitemap 선언과 전체 규칙 구조를 확인하여 SEO 최적화와 문제 진단에 활용

자주 묻는 질문