Robots.txt 생성기

관련 추천

사용 사례

• 신규 사이트 출시 시 검색 엔진 크롤링 규칙을 설정하여 불필요한 페이지 차단
• 관리자 페이지, 테스트 환경, 민감한 디렉토리를 크롤러로부터 차단
• 사이트맵 URL을 robots.txt에 선언하여 검색 엔진이 쉽게 발견하도록 지원
• 특정 크롤러(Googlebot, Bingbot 등)에 대해 다른 규칙을 적용

주요 기능

• 시각적 규칙 구성: 크롤러별 Allow/Disallow 규칙을 쉽게 추가하고 관리
• 표준 형식 출력: 검색 엔진이 인식하는 표준 robots.txt 형식으로 생성
• Sitemap 선언 지원: 사이트맵 URL을 robots.txt에 함께 선언
• 결과를 바로 복사: 생성된 내용을 바로 복사하여 사이트 루트에 배포

이용 방법

1. 적용할 크롤러(User-agent)를 선택하거나 입력하세요
2. Allow/Disallow 규칙을 추가하여 크롤링 허용/차단 경로를 설정
3. Sitemap URL을 추가하여 사이트맵 선언(선택사항)
4. 생성된 robots.txt 내용을 복사하여 사이트 루트에 배포

자주 묻는 질문