Sitemap 생성기
sitemap.xml 생성기
URL 목록을 입력하고 변경 빈도, 우선순위, 최종 수정일을 일괄 설정하여 sitemap.org 표준 XML 사이트맵을 한 번에 생성.
sitemap.org 0.9 개방형 프로토콜 표준을 준수하는 Sitemap XML 사이트맵 파일을 온라인으로 생성합니다. changefreq 7가지 업데이트 빈도, priority 0.0-1.0 상대적 우선순위, lastmod 날짜 선택기 완전 설정을 지원합니다. 자동 XML 엔티티 이스케이프, 잘못된 URL 실시간 감지, 구조화된 XML 실시간 미리보기, 원클릭 다운로드 및 복사 기능을 갖추고 Google/Bing 등 주요 검색엔진이 웹사이트의 모든 중요한 페이지를 빠르게 발견하고 효율적으로 색인 생성하도록 돕습니다.
관련 추천
사용 사례
- 신규 웹사이트 론칭 후 핵심 페이지 Sitemap을 일괄 생성하여 Google Search Console과 Bing Webmaster Tools에 제출, 검색엔진 발견 및 색인 생성 가속화
- 웹사이트 섹션 개편이나 URL 구조 변경 후 사이트맵을 재생성하여 검색엔진 색인을 업데이트하고 깨진 링크 잔존이 SEO 성능에 미치는 영향 방지
- 전자상거래 사이트에서 상품 목록 URL을 일괄 가져와 상품 분류, 등록일에 따라 서로 다른 changefreq와 priority 값 설정
- 50,000 URL을 초과하는 대형 포털이나 뉴스 사이트에서 채널별로 여러 Sitemap을 분할 생성하고 Sitemap Index 파일 제작
- 블로그 사이트에서 글 페이지, 태그 페이지, 분류 페이지, 아카이브 페이지에 적절한 업데이트 빈도와 우선순위 매개변수를 각각 설정
- 기업 홈페이지에서 제품 페이지, 뉴스 페이지, 소개 페이지, 연락처 페이지 등 다양한 URL 유형을 정리하고 차별화된 lastmod와 priority 설정
- 웹사이트 마이그레이션 완료 후(HTTP→HTTPS 업그레이드, 도메인 변경) Sitemap을 재생성하여 제출, 크롤러가 새 주소를 빠르게 크롤링하도록 유도
- Yoast SEO 등 플러그인이 생성한 Sitemap을 수동으로 보완하여 플러그인이 커버하지 못하는 특수 페이지 URL 추가
- SEO 진단 및 최적화 후 Sitemap을 재생성하여 중요 페이지의 priority 설정이 적절한지 확인하고 고가치 페이지 크롤 가중치 향상
- robots.txt에 Sitemap 위치를 선언하기 전에 이 도구로 XML 형식 정확성을 검증하여 크롤러 파싱 실패 방지
이용 방법
- 색인 생성할 페이지 주소 목록을 URL 입력 영역에 붙여넣기. 한 줄에 하나의 완전한 URL(http:// 또는 https:// 프로토콜 접두사 포함 필수)
- changefreq 드롭다운 메뉴에서 페이지 업데이트 빈도 선택: 홈페이지는 daily 또는 hourly, 글 페이지는 weekly, 정적 페이지는 yearly 또는 monthly 선택
- priority 슬라이더를 드래그하거나 0.0-1.0 사이 값을 입력하여 우선순위 설정: 핵심 홈페이지는 1.0, 중요 섹션 페이지는 0.8, 일반 글 페이지는 0.5, 아카이브 페이지는 0.3으로 설정
- lastmod 날짜 선택기를 클릭하여 웹사이트 콘텐츠 최종 수정일을 선택하거나 비워두어 lastmod 필드를 포함하지 않을 수 있음
- 오른쪽 실시간 미리보기 영역에서 생성된 XML 구조가 올바른지 확인. 잘못된 URL은 빨간색으로 표시되어 수정 안내
- 확인 후「sitemap.xml 다운로드」버튼을 클릭하여 파일을 저장하거나「복사」버튼을 클릭하여 XML 콘텐츠를 클립보드에 복사
- sitemap.xml을 웹사이트 루트 디렉토리에 업로드하고 robots.txt에 Sitemap 선언을 추가하거나 Google Search Console/Bing Webmaster에 직접 제출
주요 기능
- 일괄 URL 입력 지원: 한 줄에 하나의 URL을 입력하고 빈 줄과 중복 링크를 자동으로 필터링하여 대량의 페이지 주소를 빠르게 처리
- 자동 XML 엔티티 이스케이프: URL의 &, <, >, ", ' 등 특수 문자를 &, <, >, ", '로 자동 이스케이프하여 XML 파싱 오류를 완벽히 방지
- 7가지 changefreq 업데이트 빈도 옵션: always, hourly, daily, weekly, monthly, yearly, never—모든 페이지 유형 시나리오를 커버
- 정밀한 priority 설정: 0.0~1.0 사이의 모든 값을 지원하며 소수점 한 자리 정밀도로 페이지 중요도를 구분
- lastmod 최종 수정 날짜 선택기: 시각적 캘린더 선택기로 W3C Datetime 표준 형식(YYYY-MM-DD)으로 자동 포맷
- 잘못된 URL 실시간 감지: 형식 오류 URL(프로토콜 누락, 잘못된 문자 등)을 자동 식별하고 문제 행 번호를 표시하여 수정 용이
- 실시간 미리보기 생성: URL 목록이나 설정 매개변수 수정 시 XML 콘텐츠가 즉시 업데이트—수동으로 생성 버튼을 클릭할 필요 없음
- 원클릭 sitemap.xml 다운로드: 생성 결과를 표준 XML 파일로 직접 다운로드하여 저장 후 즉시 웹 서버에 업로드 가능
- URL 개수 초과 경고: 입력 URL이 50,000개에 도달하면 Sitemap Index 분할 방식 사용을 자동으로 안내
- 클립보드 복사: 전체 XML 콘텐츠를 원클릭으로 클립보드에 복사하여 서버 파일이나 온라인 제출에 바로 붙여넣기 가능
- 바이트 크기 통계: 생성된 Sitemap XML 파일의 바이트 수를 실시간으로 표시하여 파일 크기가 검색엔진 제한을 준수하는지 평가
- 표준 urlset 루트 요소 출력: http://www.sitemaps.org/schemas/sitemap/0.9 프로토콜 사양을 엄격히 준수하고 올바른 xmlns 네임스페이스 선언 포함
- UTF-8 인코딩 선언: XML 인코딩 선언을 자동으로 추가하여 다국어 URL이 글자 깨짐 없이 올바르게 파싱되도록 보장
자주 묻는 질문
Sitemap은 반드시 제출해야 하나요? 제출하지 않으면 사이트가 색인 생성되지 않나요?
Sitemap을 제출하지 않아도 웹사이트가 색인 생성될 가능성은 있습니다—검색엔진이 다른 사이트의 외부 링크와 내부 링크 추적을 통해 페이지를 발견할 수 있기 때문입니다. 하지만 Sitemap 제출은 발견 속도를 크게 가속화하며 특히 신규 사이트, 대형 사이트, 내부 링크가 불충분한 사이트에 효과적입니다. Google은 공식적으로 모든 웹사이트가 Sitemap을 제출할 것을 권장하며, 비용이 적고 효과가 높은 SEO 기본 작업입니다.
Sitemap 내 URL은 절대 경로여야 하나요? 상대 경로를 사용할 수 있나요?
프로토콜 접두사(http:// 또는 https://)와 완전한 도메인명을 포함한 완전한 절대 URL이어야 합니다. 상대 경로(/page1.html 등)나 프로토콜을 생략한 형식은 사용할 수 없습니다. 검색엔진이 Sitemap을 파싱할 때 올바르게 크롤링하려면 완전한 URL이 필요하며, 상대 경로는 파싱 오류의 원인이 됩니다.
changefreq와 priority 설정은 실제로 도움이 되나요? 검색엔진이 따르나요?
이 두 필드는 '힌트'일 뿐 '명령'이 아니므로 검색엔진이 100% 따르는 것은 아니지만, 정확하게 설정하면 참고 가치는 있습니다. 비교하자면 lastmod(최종 수정 시간)는 세 필드 중 검색엔진이 가장 중시하는데, 페이지에 새 콘텐츠가 있는지 크롤러에 직접 알려주기 때문입니다. 모든 페이지를 최고 우선순위나 always로 설정하는 등 부정행위를 하지 마세요. 검색엔진이 이러한 메타데이터를 더 이상 신뢰하지 않게 됩니다.
Sitemap 파일은 반드시 웹사이트 루트 디렉토리에 배치해야 하나요?
반드시 그렇지는 않습니다. URL이 정상 접근 가능하면 Sitemap은 웹사이트 내 어떤 경로에나 배치할 수 있습니다. 단, robots.txt는 루트 디렉토리에 배치해야 합니다. Sitemap Index를 사용하여 여러 Sitemap으로 분할한 경우 하위 Sitemap 경로에는 제한이 없습니다. 다만 관례상 루트 디렉토리에 배치하는 것이 관리와 크롤러 발견에 가장 편리합니다.
웹사이트 URL이 50,000개 미만인데 파일 크기가 50MB를 초과하면 어떻게 해야 하나요?
Sitemap을 분할해야 합니다. 50,000개와 50MB는 병렬적인 두 제한으로, 어느 하나를 초과하면 분할이 필요합니다. 콘텐츠 유형별로 분할하거나 Sitemap을 정리(불필요한 공백과 들여쓰기 제거, gzip 압축 사용 등)할 수 있지만, 압축 후에도 50MB를 초과하면 반드시 분할해야 합니다.
Sitemap에 noindex 페이지나 robots.txt에 의해 차단된 URL을 포함할 수 있나요?
권장하지 않습니다. Sitemap에는 검색엔진이 크롤링하고 색인 생성하기를 원하는 페이지만 포함해야 합니다. noindex 페이지, Disallow로 차단된 페이지, 로그인해야 접근 가능한 페이지, 404 오류 페이지는 Sitemap에 포함해서는 안 되며, 이는 검색엔진의 Sitemap에 대한 신뢰도를 저하시키고 크롤 예산을 낭비합니다.
콘텐츠 업데이트 후 Sitemap을 다시 제출해야 하나요? Sitemap은 얼마나 자주 업데이트하는 것이 적절한가요?
Sitemap 파일 URL이 변경되지 않는 한 검색엔진은 정기적으로 재크롤링하므로 콘텐츠가 업데이트될 때마다 수동으로 다시 제출할 필요가 없습니다. 업데이트 빈도는 웹사이트 콘텐츠 업데이트 빈도에 따라 다릅니다: 뉴스 사이트는 매일 또는 매시간 Sitemap을 업데이트(자동 생성)할 수 있지만 기업 사이트는 주간 또는 월간 업데이트로 충분합니다. 서버 측 스크립트를 설정하여 Sitemap 파일을 자동 업데이트할 수 있습니다.
Sitemap은 어떤 언어 URL을 지원하나요? 한국어 URL은 인코딩이 필요한가요?
Sitemap은 모든 언어 URL을 지원하지만 비ASCII 문자(한국어 등) URL은 URL 인코딩(퍼센트 인코딩, percent-encoding)이 필요합니다. 예를 들어 '한국어페이지'는 %ED%95%9C%EA%B5%AD%EC%96%B4%ED%8E%98%EC%9D%B4%EC%A7%80로 인코딩되어야 합니다. 대부분의 브라우저와 도구는 자동으로 처리하지만 생성된 Sitemap 내 URL이 올바르게 인코딩되었는지 확인해야 합니다.
여러 Sitemap을 동시에 제출할 수 있나요? 예를 들어 글 Sitemap과 상품 Sitemap이 둘 다 있는 경우?
네, 두 가지 방법이 있습니다: ①Sitemap Index 인덱스 파일을 사용하여 모든 하위 Sitemap을 통합 관리(권장 방식, 인덱스 파일 URL만 제출하면 됨); ②웹마스터 플랫폼에서 각 하위 Sitemap URL을 개별적으로 제출(이 방식도 가능하지만 관리가 번거로움). 두 방식 모두 유효하며 검색엔진은 둘 다 크롤링합니다.
Sitemap 생성 후 gzip 압축해야 하나요? 압축의 이점은 무엇인가요?
압축은 필수는 아니지만 강력히 권장합니다. gzip 압축은 일반적으로 Sitemap 크기를 70%-80% 줄여 대역폭과 크롤러 페치 시간을 절약하며—특히 대형 사이트에서 효과가 두드러집니다. 검색엔진은 sitemap.xml.gz 압축 형식을 완전히 지원하며 자동으로 압축을 풉니다. 압축 후 50MB를 초과하지 않으면 문제 없습니다.
웹사이트 HTTP 버전과 HTTPS 버전 모두 Sitemap을 제출해야 하나요?
색인 생성을 원하는 우선 버전만 제출해야 합니다. 사이트 전체를 HTTPS로 하고 HTTP→HTTPS 301 리다이렉트를 설정했다면 HTTPS 버전 Sitemap만 제출하세요. HTTP와 HTTPS 두 버전을 모두 제출하지 마세요. 중복 콘텐츠 문제가 발생합니다. 마찬가지로 www와 비www도 우선 도메인을 결정하고 우선 도메인 Sitemap만 제출하세요.
WordPress에서 Yoast SEO로 Sitemap을 생성하고 있는데 이 도구가 여전히 필요한가요?
Yoast SEO는 대부분 페이지의 Sitemap을 자동 생성할 수 있지만 일부 페이지가 누락될 수 있습니다—수동으로 생성한 단일 페이지, 사용자 정의 글 유형 설정이 불충분한 경우, 특별한 랜딩 페이지, 외부에서 가져온 페이지 등. 이 도구를 사용하여 Yoast가 커버하지 못한 URL을 보완하거나 별도의 보완 Sitemap을 생성하거나 Yoast가 생성한 Sitemap이 완전하고 올바른지 비교 확인할 수 있습니다.
Sitemap 내 URL 순서가 중요한가요? 중요한 페이지를 앞에 두면 효과가 있나요?
Sitemap 프로토콜에서 URL 순서에는 공식적인 가중치가 없으며, 검색엔진이 URL이 앞에 있다고 우선 크롤링하지 않습니다. 하지만 일부 SEO 실무자는 약간의 순서 선호 효과를 관찰했으므로 중요한 URL을 앞에 두어도 해는 없지만 현저한 효과를 기대하지는 마세요—priority 필드를 통해 우선순위를 올바르게 지정해야 합니다.
페이지네이션 페이지(/list?page=2, /page/3 등)는 Sitemap에 포함해야 하나요?
이는 페이지네이션 콘텐츠의 가치에 따라 다릅니다. 페이지네이션이 '더 보기' 성격의 중복 목록(글 목록 2페이지, 3페이지 등)이라면 이러한 페이지는 콘텐츠가 중복되고 가치가 낮으므로 일반적으로 Sitemap에 포함하는 것을 권장하지 않습니다. 목록 첫 페이지와 개별 글 페이지에 집중해야 합니다. 하지만 페이지네이션이 고유한 콘텐츠를 가진 경우(독립적 가치가 있는 분류 탐색 등) 낮은 priority를 설정하여 포함을 고려할 수 있습니다.
Sitemap이 올바르고 유효한지 어떻게 확인하나요?
몇 가지 확인 방법이 있습니다: ①이 도구로 생성한 후 먼저 로컬에서 XML 구조를 미리보고 태그 닫힘, 네임스페이스, 이스케이프 문자가 정상인지 확인; ②sitemap-inspector 도구를 사용하여 온라인으로 형식과 URL 접근성을 검증하고 모든 URL의 HTTP 상태 코드를 일괄 확인; ③업로드 후 브라우저에서 Sitemap URL에 직접 접근하여 XML 파싱 오류 없이 정상 표시되는지 확인; ④Google Search Console/Bing Webmaster Tools 제출 후 상태 보고서에서 형식 오류, URL 접근 불가, 제한 초과 등 오류 메시지가 없는지 확인—이것이 가장 권위 있는 확인 방법입니다; ⑤온라인 XML 검증 도구를 사용하여 XML 구문 정확성을 확인할 수도 있습니다.
문제 해결
생성된 Sitemap XML을 브라우저에서 열면 파싱 오류가 표시되며 형식이 올바르지 않다고 합니다
URL에 &, <, > 등 XML 특수 문자가 포함되어 이스케이프되지 않음: 붙여넣을 때 도구가 자동으로 이스케이프하지만 파일을 수동으로 편집한 경우 이스케이프가 누락되었을 수 있음 XML 선언 또는 urlset 네임스페이스가 잘못 작성됨: 첫 줄 xmlns 값이 http://www.sitemaps.org/schemas/sitemap/0.9와 완전히 일치하고 여분의 슬래시가 없는지 확인 태그가 올바르게 닫히지 않음: <url>, <loc> 등 모든 시작 태그에 대응하는 종료 태그</url>, </loc>가 있어야 합니다. 자체 종료 태그 구문이 올바른지 확인 파일 인코딩이 BOM 없는 UTF-8이 아님: Windows 메모장이 UTF-8 BOM 또는 GBK 인코딩으로 저장하여 파싱 오류를 일으킬 수 있으니 BOM 없는 UTF-8로 저장하세요 URL에 잘못된 문자가 포함됨: 한국어 URL은 URL 인코딩(percent-encoding)이 필요합니다. 특수 문자가 인코딩되지 않으면 XML 파싱 오류가 발생 XML 버전 선언 오류: 첫 줄은 <?xml version="1.0" encoding="UTF-8"?>여야 하며 1.1이나 다른 버전으로 작성하지 마세요 태그 중첩 순서 오류: 자식 태그는 부모 태그 내에 완전히 포함되어야 하며 <url><loc></url></loc> 같은 교차 중첩은 순서 오류입니다
Google Search Console에 Sitemap 제출 후 'Sitemap을 가져올 수 없음' 또는 '형식 오류'가 표시됩니다
Sitemap 파일 URL에 접근할 수 없음: 브라우저에서 Sitemap URL에 직접 접근하여 403/404/500 오류 없이 200 상태 코드가 반환되는지 확인 서버가 잘못된 Content-Type 반환: application/xml 또는 text/xml을 반환해야 하며 text/html 반환 시 인식 실패 원인 Sitemap에 robots.txt에 의해 크롤링이 차단된 URL이 포함됨: GSC가 Sitemap 내 Disallow 경로를 감지하면 오류 보고 URL 리다이렉트 문제: Sitemap URL이 301/302로 다른 주소로 리다이렉트하면 오류 발생. URL이 리다이렉트 없이 직접 접근 가능한지 확인 HTTP/HTTPS 또는 www/비www 불일치: 제출한 Sitemap 도메인이 GSC에서 확인한 도메인과 일치하지 않음(예: www.example.com 확인했는데 Sitemap에서 example.com 사용) Sitemap 파일이 너무 커서 50MB 제한 초과 또는 URL이 50,000개 초과: GSC는 제한 초과 파일 처리를 직접 거부 XML 엔티티가 아닌 HTML 엔티티 사용: 공백의 는 HTML 엔티티이며 XML 엔티티가 아니므로 XML에서 사용할 수 없음
Sitemap 제출한 지 꽤 시간이 지났는데도 많은 URL이 아직 Google에 색인 생성되지 않습니다
페이지 품질 문제: 색인 생성이 제출한다고 보장되는 것은 아닙니다. 독창성이 낮거나 중복 콘텐츠, 콘텐츠 가치가 낮은 페이지는 Google이 색인 생성하지 않기로 선택할 수 있음 신규 사이트 심사 기간(샌드박스 효과): 신규 웹사이트는 Sitemap 제출 후 일괄 색인 생성까지 수 주에서 수 개월의 관찰 기간이 필요할 수 있음 페이지가 noindex: URL이 반환하는 페이지에 noindex meta 태그 또는 X-Robots-Tag: noindex 응답 헤더가 있으면 Google이 적극적으로 제외 웹사이트 크롤 예산 부족: 사이트 권위가 낮거나 서버 응답이 느리거나 내부 링크 구조가 빈약하면 Google 크롤러에 할당된 크롤링 빈도가 낮아 더 많은 시간 필요 Sitemap에 많은 저품질 URL 포함: Sitemap 내 많은 URL이 404, 5xx 오류, 중복 콘텐츠, 저가치 페이지인 경우 Google이 Sitemap 전체에 대한 신뢰도 저하 도메인이 페널티를 받음: 웹사이트에 Google 품질 가이드라인 위반 문제(스팸, 표절 콘텐츠, 멀웨어 등)가 있어 색인 생성이 방해받고 있음 페이지가 고아 페이지: 페이지가 Sitemap에 포함되어 있어도 웹사이트 내부 링크에 진입점이 없어 크롤러가 중요하지 않다고 판단하여 색인 생성하지 않을 수 있음
Sitemap에 URL이 발견되었다고 표시되지만 실제 색인 수는 매우 적습니다
이것은 정상적인 현상입니다: '발견됨'은 Google이 Sitemap에 접근하여 URL을 확인했음을 의미할 뿐 모두 색인 생성된다는 뜻은 아닙니다. 색인률은 페이지 품질에 의존 중복 콘텐츠 문제: 콘텐츠가 매우 유사한 여러 URL(매개변수가 다른 동일 페이지, 인쇄 버전, 페이지네이션 등)이 있으면 Google이 정규 버전 하나를 선택하여 색인 생성 캐노니컬(canonical) 태그가 다른 페이지를 가리킴: 페이지에 <link rel="canonical" href="다른 URL">이 설정되어 있으면 Google이 canonical이 가리키는 주소를 색인 생성 페이지 콘텐츠가 너무 빈약: 글자 수가 너무 적거나 실질적인 가치가 없거나 표절 콘텐츠인 경우 Google이 색인 생성할 가치가 없다고 판단 페이지 로딩 속도가 너무 느림: 서버 응답 타임아웃, 페이지 로딩이 너무 느린 경우 크롤러가 여러 번 페치 실패 후 크롤링 우선순위 저하 HTTPS 인증서 문제: SSL 인증서 무효, 혼합 콘텐츠 오류, HTTP/HTTPS 버전 공존으로 인한 정규화 문제 모바일 최적화 문제: 모바일 친화성 부족, 모바일 적응 오류가 모바일 우선 색인 환경에서 색인에 영향
Bing은 Sitemap을 정상적으로 크롤링하지만 Google은 전혀 크롤링하지 않습니다
Google Search Console 확인 문제: 도메인 소유권 확인이 유효하고 확인된 도메인(www/비www, http/https)이 실제 접속 버전과 일치하는지 확인 서버 방화벽 또는 CDN이 Googlebot 차단: 서버 접근 로그에서 Googlebot 요청(user-agent에 Googlebot 포함)이 차단되거나 403을 반환하는지 확인 DNS 해석 문제: Google DNS가 Bing과 다른 IP 주소로 해석합니다. 모든 지역에서 서버로 정상 해석되는지 확인 robots.txt에 Googlebot에 대한 특별한 제한이 있음: User-agent: Googlebot 아래에 특별한 Disallow 규칙이 없는지 확인 웹사이트에 부정행위 이력이 있어 Google에 의해 강등됨: 수동 페널티를 받은 도메인은 재심사 신청 필요 Sitemap URL에 Google이 안전하지 않다고 간주하는 콘텐츠가 포함됨: 멀웨어나 피싱 콘텐츠로 플래그 지정된 도메인 등 CDN WAF 규칙 오탐지: 일부 보안 규칙이 Googlebot 크롤러 동작을 오탐지할 수 있으니 CDN 보안 로그 확인
생성된 Sitemap은 로컬에서 정상 테스트되지만 서버 업로드 후 접근하면 404 오류가 반환됩니다
파일 경로가 올바르지 않음: sitemap.xml이 올바른 디렉토리에 업로드되지 않았습니다. robots.txt에 선언하고 검색엔진에 제출한 URL에 대응하는 위치에 업로드되었는지 확인 파일명 대소문자 문제: Linux/Unix 서버는 대소문자를 구분합니다. Sitemap.xml과 sitemap.xml은 다른 파일입니다. 파일명이 모두 소문자인지 확인 Nginx/Apache 설정이 xml 파일 접근 금지: 서버 설정에서 .xml 확장자 파일 접근을 거부하는 location 규칙이나 잘못된 try_files 규칙이 없는지 확인 파일 권한 문제: 서버 파일 권한이 올바르지 않아(예: 600 권한) 웹 서버 사용자에게 읽기 권한이 없습니다. 일반적으로 644 권한, 디렉토리는 755 권한 필요 CDN이 오래된 404 응답 캐시: 방금 업로드한 파일은 CDN이 이전 404를 아직 캐시하고 있을 수 있습니다. CDN 캐시를 새로고침하거나 CDN이 자동으로 오리진을 업데이트할 때까지 대기 WordPress 등 CMS 퍼머링크 규칙 충돌: CMS 재작성 규칙이 sitemap.xml을 가로챕니다. 서버가 정적 파일에 직접 접근할 수 있도록 제외 규칙 설정 필요 서버에 설정된 핫링크 보호 또는 접근 제어: .htaccess나 Nginx 설정의 referer 확인, IP 화이트리스트 등 규칙이 크롤러 접근을 차단할 수 있음
용어집
- Sitemap(사이트맵)
- 웹사이트에서 크롤링 가능한 모든 페이지를 검색엔진에 알리는 XML 프로토콜 표준 파일. 완전한 URL 목록과 각 URL의 메타데이터 정보를 포함하여 Googlebot, Bingbot 등 크롤러가 웹사이트 콘텐츠를 더 지능적이고 효율적으로 발견, 이해, 크롤링하도록 돕습니다. sitemaps.org 단체가 통합된 개방형 프로토콜 표준(현재 버전 0.9)으로 유지보수하고 있습니다.
- urlset
- 표준 Sitemap XML 파일의 루트 요소. 올바른 xmlns 네임스페이스 선언을 포함해야 하며 내부에 모든 <url> 자식 요소 항목을 중첩합니다. Sitemap 유효성의 핵심 식별자로, 올바른 urlset 구조가 없는 Sitemap은 검색엔진에 의해 파싱이 직접 거부됩니다.
- Sitemap Index
- 사이트맵 인덱스 파일. 웹사이트 URL 개수가 50,000개를 초과하거나 단일 Sitemap 파일 크기가 50MB를 초과할 때 사용해야 합니다. 루트 요소는 <sitemapindex>이며, 여러 하위 Sitemap 파일 주소를 통합 목록 및 관리하는 데 사용되는 대형 웹사이트 Sitemap 분할 표준 방식입니다.
- changefreq
- Sitemap의 선택적 메타데이터 요소. 페이지 콘텐츠의 대략적인 업데이트 빈도를 지정하는 데 사용됩니다. always, hourly, daily, weekly, monthly, yearly, never의 7가지 유효값이 있으며, 검색엔진 크롤러가 재방문 크롤링 빈도를 스케줄링하는 참고 자료가 됩니다. 적절한 설정으로 크롤 예산 배분을 최적화할 수 있습니다.
- priority
- Sitemap의 선택적 메타데이터 요소. 해당 URL의 웹사이트 내 다른 페이지 대비 중요도 우선순위를 지정하는 데 사용됩니다. 값 범위는 0.0~1.0 사이의 소수이며 기본값은 0.5입니다. priority는 사이트 내 페이지의 상대적 크롤 우선순위에만 영향을 미치며 검색결과 순위에는 영향을 미치지 않습니다.
- lastmod
- Sitemap의 선택적 메타데이터 요소. 페이지의 마지막 실질적 콘텐츠 수정 날짜와 시간을 기록합니다. 형식은 W3C Datetime 사양을 따라야 하며, 세 개의 선택적 메타데이터 필드 중 검색엔진이 가장 중시하는 필드입니다. 페이지에 재크롤링이 필요한 새 콘텐츠가 있는지 직접 나타내기 때문입니다.
- loc
- <url> 요소 아래의 필수 자식 요소. 페이지의 완전한 절대 URL 주소를 지정하는 데 사용됩니다. http:// 또는 https:// 프로토콜로 시작하고 완전한 도메인명을 포함해야 하며 URL 총 길이는 2,048자를 초과할 수 없고 상대 경로는 사용할 수 없습니다.
- XML 네임스페이스(xmlns)
- urlset 루트 요소에 선언해야 하는 XML 네임스페이스 속성. 속성값은 http://www.sitemaps.org/schemas/sitemap/0.9와 정확히 일치해야 하며, Sitemap이 사용하는 프로토콜 버전을 식별합니다. 네임스페이스가 누락되거나 잘못 작성되면 Sitemap 파싱 실패의 원인이 됩니다.
- W3C Datetime
- W3C(World Wide Web Consortium)가 규정한 날짜와 시간 표현 형식. Sitemap의 lastmod 필드는 이 형식을 따라야 합니다. YYYY-MM-DD 간략 날짜 형식이 일반적으로 사용되며(호환성 가장 우수), 시분초와 시간대 정보를 포함하는 전체 날짜시간 형식도 지원됩니다.
- XML 엔티티 이스케이프
- XML 구문에서 특수 문자는 올바른 파싱을 위해 대응하는 엔티티 참조로 이스케이프해야 합니다: &는 &로, <는 <로, >는 >로, "는 "로, '는 '로 이스케이프됩니다. URL에 이러한 문자가 포함된 경우 이스케이프해야 하며, 그렇지 않으면 XML 파싱 오류가 발생합니다.
- Google Search Console (GSC)
- Google이 공식 제공하는 웹마스터 플랫폼 도구. Sitemap 제출, 웹사이트 색인 상태 확인, 검색 트래픽 데이터 분석, 크롤링 오류 보고서, 보안 문제 알림, 수동 조치 페널티 알림 등에 사용됩니다. Google 검색엔진 최적화(SEO)의 필수 도구입니다.
- Bing Webmaster Tools
- 마이크로소프트 Bing 검색엔진의 공식 웹마스터 플랫폼. Google Search Console과 유사한 기능을 가지며 Sitemap 제출, 색인 범위 통계, SEO 진단 분석, 키워드 연구, 백링크 조회 등을 지원하여 Bing과 Yahoo 두 검색엔진의 검색 트래픽을 커버합니다.
- robots.txt
- 웹사이트 루트 디렉토리에 위치하는 일반 텍스트 파일. User-agent, Disallow, Allow 등의 디렉티브를 통해 검색엔진 크롤러에 어떤 경로 크롤링을 허용하고 어떤 경로를 금지하는지 알립니다. 또한 파일 내에 Sitemap 파일 위치를 선언하여 크롤러가 자동 발견할 수 있게 할 수도 있습니다.
- 크롤러(Crawler/Spider/Bot)
- 검색엔진이 개발한 웹 콘텐츠 자동 크롤링 프로그램. Googlebot(Google 크롤러), Bingbot(Bing 크롤러), Baiduspider(바이두 크롤러) 등이 있습니다. 페이지 링크 추적과 Sitemap 파일 읽기를 통해 새 페이지를 발견하고 페이지 콘텐츠를 다운로드하여 검색엔진 색인 데이터베이스에 저장합니다.
- 크롤 예산(Crawl Budget)
- 검색엔진이 일정 기간 내에 특정 웹사이트에 할당하는 총 크롤링 리소스 양. 도메인 권위, 서버 응답 속도, 페이지 콘텐츠 품질, 과거 크롤링 효과 등 여러 요인에 의해 결정됩니다. Sitemap을 올바르게 구성하면 크롤 예산 활용 효율을 최적화할 수 있습니다.
- UTF-8 인코딩
- Sitemap XML 파일에 필수로 요구되는 문자 인코딩. UTF-8은 한국어를 포함한 모든 유니코드 문자를 지원하며 XML 선언에서 encoding="UTF-8" 속성으로 지정됩니다. 다른 인코딩(GBK, GB2312 등)을 사용하면 한국어 URL의 글자 깨짐과 파싱 실패가 발생할 수 있습니다.
- gzip 압축
- Sitemap 프로토콜은 gzip 알고리즘을 사용한 압축 전송(파일 확장자 .xml.gz)을 지원합니다. Sitemap 파일 크기를 70%-80% 줄여 서버 대역폭과 크롤러 크롤링 시간을 크게 절약할 수 있습니다. 주요 검색엔진은 gzip 압축된 Sitemap 파일을 자동으로 압축 해제하여 처리할 수 있으며, 압축 후에도 50MB 크기 제한을 준수해야 합니다.
- Yoast SEO
- WordPress, Shopify 등 CMS 플랫폼에서 널리 사용되는 SEO 플러그인. Sitemap, meta 태그, 브레드크럼 네비게이션, XML 사이트맵, RSS 최적화, 소셜 미디어 메타데이터 등 SEO 관련 기능을 자동으로 생성할 수 있으며, 콘텐츠 중심 웹사이트에서 흔히 사용되는 SEO 솔루션입니다.
- 색인 범위(Index Coverage)
- Google Search Console의 핵심 보고서 중 하나. 웹사이트 내 페이지가 Google에 색인 생성, 제외, 오류 발생, 경고 존재하는 구체적인 수와 이유 상세를 표시하며, Sitemap 제출 효과를 검증하고 페이지 색인 문제를 진단하는 데 사용할 수 있습니다.
- URL 인코딩(Percent-Encoding)
- 퍼센트 인코딩이라고도 하며, URL에서 비ASCII 문자(한국어, 특수 기호 등)를 표현하는 인코딩 방식. 한국어 문자는 %XX%XX%XX 형식으로 인코딩됩니다(예: "한국어"는 %ED%95%9C%EA%B5%AD%EC%96%B4로 인코딩됨). Sitemap 내 한국어 URL은 올바르게 인코딩되어야 파싱할 수 있습니다.
changefreq 업데이트 빈도 시나리오 대조표
| changefreq 값 | 업데이트 빈도 | 전형적인 적용 페이지 유형 | 주의사항 |
|---|---|---|---|
always | 접근할 때마다 변경될 수 있음 | 실시간 데이터 페이지, 검색 진입점, 동적 집계 페이지 | 크롤러가 매번 온다는 의미가 아니라 변경 빈도가 극도로 높다는 뜻입니다. 남용하지 마세요. 일반 페이지를 always로 설정하지 마세요 |
hourly | 매시간 업데이트 | 뉴스 홈페이지, 소셜미디어 피드, 실시간 시세 페이지 | 매시간 새 콘텐츠가 생성되는 페이지에 적합합니다. 고빈도 업데이트 사이트가 아니면 hourly로 설정하지 마세요 |
daily | 매일 업데이트 | 웹사이트 홈페이지, 블로그 목록 페이지, 뉴스 채널 페이지, 상품 분류 페이지 | 가장 자주 사용되는 값 중 하나로 대부분 사이트의 홈페이지와 섹션 페이지에 적합 |
weekly | 매주 업데이트 | 일반 글 상세 페이지, 상품 상세 페이지, 블로그 본문 페이지 | 대부분 콘텐츠 중심 사이트의 본문 페이지에 적합 |
monthly | 매월 업데이트 | 분류 디렉토리 페이지, 아카이브 페이지, FAQ 페이지, 사용 가이드 페이지 | 콘텐츠 업데이트가 잦지 않지만 가끔 조정되는 보조 페이지 |
yearly | 매년 업데이트 | 회사 소개 페이지, 연락처 페이지, 서비스 약관, 개인정보 처리방침 | 거의 변경되지 않는 정적 정보 페이지 |
never | 절대 업데이트하지 않음 | 과거 글 아카이브, 만료된 이벤트 페이지, 아카이브된 오래된 콘텐츠 | 더 이상 수정되지 않을 것이 확정된 페이지에 설정합니다. 업데이트가 있으면 즉시 다시 변경해야 합니다 |
priority 우선순위 설정 참고표
| priority 값 | 우선순위 수준 | 적용 페이지 유형 | 권장 페이지 수 비율 |
|---|---|---|---|
1.0 | 최고 | 웹사이트 홈페이지, 핵심 랜딩 페이지, 가장 중요한 채널 진입점 | 사이트 전체에서 1-3페이지만 |
0.8-0.9 | 매우 높음 | 주요 섹션 페이지, 인기 분류 페이지, 핵심 상품 페이지, 주요 특집 | 전체 페이지 수의 약 5-10% |
0.6-0.7 | 높음 | 보조 섹션 페이지, 하위 분류 페이지, 인기 글, 중요한 상품 상세 | 전체 페이지 수의 약 10-20% |
0.4-0.5 | 보통 | 일반 글 상세 페이지, 일반 상품 페이지, 표준 콘텐츠 페이지 | 전체 페이지 수의 약 40-60% (기본값) |
0.2-0.3 | 낮음 | 태그 페이지, 아카이브 페이지네이션, 오래된 글 아카이브, 보조 페이지 | 전체 페이지 수의 약 15-25% |
0.0-0.1 | 최저 | 저가치 페이지, 중복 콘텐츠 페이지, 우선 크롤링을 원하지 않는 페이지 | 전체 페이지 수의 약 5% 이내. 0은 색인 금지를 의미하지 않음 |
Sitemap 프로토콜 사양 제한표
| 제한 항목 | 상한값 | 설명 | 초과 시 처리 방안 |
|---|---|---|---|
| 단일 Sitemap URL 수 | 50,000개 | sitemap.org 0.9 프로토콜 필수 요건 | Sitemap Index를 사용하여 여러 하위 Sitemap으로 분할 |
| 단일 Sitemap 비압축 파일 크기 | 50MB (52,428,800바이트) | 모든 태그와 공백을 포함한 원본 파일 크기 | gzip 압축 사용, Sitemap 분할, 주석 최소화 |
| Sitemap Index에 포함 가능한 하위 Sitemap 수 | 50,000개 | 인덱스 파일 자체의 URL 항목 제한 | 이론적으로 25억 URL 지원. 대부분 사이트에서는 불필요 |
| 단일 URL 길이 | 2,048자 | 프로토콜, 도메인, 경로, 모든 쿼리 매개변수 포함 | URL이 너무 길면 매개변수를 간소화하거나 URL 리라이트 필요 |
| Sitemap 지원 인코딩 | UTF-8 | 프로토콜에서 필수. 다른 인코딩은 파싱 실패 원인 가능 | 파일 저장 시 UTF-8 인코딩 사용 확인 |
| Sitemap 지원 프로토콜 | http:// 또는 https:// | URL에 완전한 프로토콜 접두사 포함 필수 | ftp:// 등 다른 프로토콜은 지원하지 않음 |
| 제출 후 크롤러 응답 시간 | 몇 시간에서 며칠 | 사이트 권위와 Sitemap 복잡도에 따라 다름 | 재제출할 필요 없이 처리가 완료될 때까지 기다리기 |
| gzip 압축 후 파일 크기 | 50MB | 압축 후 파일도 50MB 제한 초과 불가 | 압축 후에도 초과 시 Sitemap 분할 필요 |
- 인증 헤더 생성기
- Cache-Control 파서
- Content-Disposition 파서
- CORS 헤더 생성기
- CORS 검사기
- CSP 빌더
- cURL 코드 생성기
- DNS 글로벌 전파 확인
- DNS 조회
- Forwarded Header 파서
- Hreflang 태그 생성기
- HSTS 분석기
- HTTP 쿠키 파서
- HTTP Headers Checker
- HTTP 요청 테스터
- HTTP 상태 코드 조회
- IP 위치 조회
- IPv4 변환기
- IPv4 범위 확장기
- IPv6 툴박스
- Link 헤더 파서
- MX 레코드 조회
- 포트 체커
- 쿼리 스트링 빌더
- Rate Limit 헤더 파서
- 리다이렉트 체인 검사기
- Robots.txt 생성기
- Robots.txt 검사기
- 보안 헤더 검사기
- Security.txt 생성기
- Set-Cookie 파서
- 사이트 네트워크 감사
- Sitemap 생성기
- Sitemap 검사기
- SSL 인증서 검사기
- 서브넷 계산기
- URL 파서
- User-Agent 파서
- UTM 링크 생성기
- WebSocket 테스트
- 내 IP는 무엇인가요?
- WHOIS 조회