개발
robots.txt 생성기
검색 엔진 크롤러 규칙과 sitemap 위치를 담은 robots.txt 파일 내용을 만들어요.
도구를 불러오는 중입니다.
도구 안내
검색 엔진 크롤러 규칙 만들기
robots.txt 생성기는 검색 엔진 크롤러가 어떤 경로를 읽거나 피해야 하는지 정리할 때 씁니다. 사이트 루트에 둘 robots.txt 내용을 만들고, sitemap 위치와 Allow/Disallow 규칙을 함께 점검할 수 있습니다.
이럴 때 사용해요
- 관리자, API, 임시 경로 크롤링 차단
- 공개 경로와 sitemap 위치 정리
- 스테이징 사이트 전체 차단 규칙 생성
알아두면 좋아요
robots.txt는 크롤링 요청을 안내하는 파일이며, 이미 색인된 페이지를 검색 결과에서 제거하려면 noindex와 검색 콘솔 처리가 함께 필요할 수 있습니다.
개발 작업에서 확인할 점
생성된 코드, 정규식, 메타 태그, 설정 파일은 초안으로 보고 실제 프로젝트의 런타임, 보안 정책, 배포 환경에서 다시 검증하세요.
처리 방식
입력한 값은 가능한 한 브라우저 안에서 계산하고 변환합니다. 중요한 결과는 원본과 한 번 더 비교하세요. 업데이트 기준일은 2026년 7월 2일입니다.
robots.txt 작성 전 체크
크롤러 규칙
- 전체 차단과 특정 경로 차단을 혼동하지 않기
- User-agent별 Allow/Disallow 우선순위를 확인
- Disallow는 크롤링 제어이지 이미 색인된 URL 제거 보장이 아님
사이트맵
- 정식 sitemap.xml URL을 절대 경로로 넣기
- 개발/스테이징 주소가 섞이지 않았는지 확인
- 여러 sitemap을 쓰면 sitemap index와 robots.txt가 같은 정식 도메인을 가리키게 하기
배포 전
- 검색 콘솔 robots.txt 테스터로 검수
- 중요 페이지가 실수로 차단되지 않았는지 샘플 URL 확인
- 관리자, 검색 결과, 필터 URL처럼 제외할 경로와 수익 페이지를 분리해서 검토
배포 후
- https://도메인/robots.txt가 200으로 열리는지 확인
- Google, Bing, Naver에 제출된 sitemap URL과 일치하는지 비교
- 색인을 막아야 하는 페이지는 noindex나 인증도 함께 적용
robots.txt 규칙을 만들 수 있나요?
User-agent, allow, disallow, sitemap URL을 입력해 검색 엔진 크롤러용 robots.txt 초안을 만들 수 있습니다.
robots.txt로 페이지 색인을 완전히 막을 수 있나요?
크롤링 제어에는 도움이 되지만 색인 제거 보장은 아닙니다. 민감한 페이지는 noindex, 인증, 서버 설정을 함께 사용하세요.
어디에 업로드해야 하나요?
보통 도메인 루트의 /robots.txt 경로에 배치하고 배포 후 실제 URL로 열리는지 확인합니다.