Robots.txt 검사기

robots 정책 검사기

사이트의 robots.txt를 가져오고, User-agent 그룹화를 분석하며, 경로가 크롤링 허용인지 즉시 확인합니다.

온라인 robots.txt 검사, 경로 크롤링 허용 여부를 바로 확인하세요.

관련 추천

Robots.txt 생성기

IPv6 툴박스

MX 레코드 조회

쿼리 스트링 빌더

시간 도구

Slug 생성기

사용 사례

  • 페이지가 늦게 색인될 때 robots.txt가 해당 경로를 차단했는지 확인
  • 사이트 변경 후 새로운 크롤러 규칙이 예상대로 적용되었는지 검증하여 구 규칙 잔여 방지
  • 특정 URL 경로가 대상 크롤러에 허용되는지 테스트하여 Allow/Disallow 구성 확인
  • Sitemap 선언을 추출하여 사이트맵 주소가 올바르게 구성되었는지 확인하여 검색 엔진 발견 지원

이용 방법

  1. 사이트 도메인 또는 robots.txt 전체 URL 주소를 입력하세요
  2. 도구가 자동으로 robots.txt 규칙 내용을 가져와 파싱하여 구조화하여 표시
  3. 테스트할 경로를 입력하여 대상 크롤러 크롤링 허용 여부를 확인하세요
  4. Sitemap 선언과 전체 규칙 구조를 확인하여 SEO 최적화와 문제 진단에 활용

주요 기능

  • 지정된 경로 허용 여부 직접 판단: 수동으로 규칙을 추론할 필요 없음
  • 색인 이상 시 먼저 확인: 디렉토리 오차단, 규칙 오적용을 쉽게 발견
  • Sitemap 선언 확인: 크롤링 규칙과 사이트맵 정보를 함께 확인
  • 변경 후 재검사에 유용: CMS 업데이트, 디렉토리 조정, 규칙 변경 후 문제 발견

자주 묻는 질문

특정 페이지가 robots.txt에 의해 크롤링 차단되었는지 어떻게 판단하나요?

대상 주소와 경로를 입력하면 현재 규칙을 바탕으로 특정 크롤러의 접근 허용 여부를 판단할 수 있어 규칙을 직접 읽는 것보다 더 안정적입니다.

페이지가 색인되지 않는 것이 정말 robots.txt 문제일 수 있나요?

가능합니다. robots.txt가 관련 디렉토리나 경로를 차단하면 검색 엔진이 페이지 내용을 정상적으로 크롤링하지 못할 수 있습니다. 먼저 규칙 오적용 여부를 확인하는 것이 필요합니다.

Sitemap이나 기타 선언을 추출할 수 있나요?

네. 크롤링 규칙 외에도 많은 robots.txt 파일이 Sitemap 주소를 선언하여 사이트 검사와 SEO 진단에 도움이 됩니다.

사이트 출시 후 정기 검사에 적합한가요?

네. 특히 사이트 변경, 디렉토리 조정, CMS 업데이트 후 robots 규칙이 예상치 않게 변경되었는지 다시 확인하는 것을 권장합니다.