liminfo

Robots.txt Generator

robots.txt 파일 생성기

User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /

Robots.txt Generator 소개

Robots.txt 생성기는 구문을 외울 필요 없이 웹사이트에 필요한 유효한 robots.txt 파일을 시각적 폼으로 만들 수 있는 도구입니다. 하나 이상의 User-agent 규칙을 정의하고, 각 봇에 대해 허용(Allow)하거나 차단(Disallow)할 URL 경로를 지정하고, 필요에 따라 Crawl-delay, Sitemap URL, Host 디렉티브를 추가할 수 있습니다. 도구는 실시간으로 올바른 robots.txt 형식을 조합하고 원클릭으로 클립보드에 복사할 수 있게 해줍니다.

웹 개발자, SEO 전문가, 사이트 관리자들은 Googlebot, Bingbot 등 검색 엔진 봇에 크롤링 지침을 전달하기 위해 robots.txt를 사용합니다. 관리자 패널(/admin/), API 엔드포인트(/api/), 스테이징 디렉토리, 중복 콘텐츠 페이지에 대한 크롤러 차단이 일반적인 사용 사례입니다. 이 도구는 전체 허용(Allow All), 전체 차단(Block All), 관리자만 차단(Block Admin Only) 세 가지 프리셋으로 가장 일반적인 시나리오를 즉시 처리할 수 있습니다.

기술적으로, robots.txt의 각 규칙 블록은 User-agent 줄로 시작하고 그 뒤에 Disallow와 Allow 디렉티브가 따라옵니다. 순서가 중요합니다. 대부분의 크롤러는 Disallow 디렉티브를 먼저 평가하지만, Allow 디렉티브는 더 구체적인 경로에서 Disallow를 재정의할 수 있습니다. Crawl-delay 디렉티브는 봇에게 요청 사이에 지정된 초 수만큼 기다리도록 요청하여 서버 부하를 줄일 수 있습니다. Sitemap 디렉티브는 크롤러에게 모든 페이지를 효율적으로 발견할 수 있도록 XML 사이트맵을 가리킵니다.

주요 기능

  • 시각적 규칙 빌더 — 여러 User-agent 블록 추가, 각 블록에 독립적인 Allow 및 Disallow 경로 목록 설정
  • 세 가지 빠른 프리셋: 전체 허용(Allow All), 전체 차단(Block All), 관리자만 차단(Block Admin Only, /admin/, /api/, /private/ 차단)
  • Crawl-delay 필드로 봇 크롤링 속도 조절 및 서버 부하 감소
  • Sitemap URL 필드로 크롤러에 sitemap.xml 위치를 알리는 Sitemap 디렉티브 추가
  • 여러 미러 도메인이 있는 사이트에서 정식 호스트를 지정하는 Host 디렉티브 필드
  • 생성된 robots.txt 출력을 모노스페이스 코드 블록으로 실시간 미리보기
  • 사이트 루트나 배포 파이프라인에 바로 붙여넣기 가능한 원클릭 클립보드 복사
  • 100% 클라이언트 사이드 생성 — 브라우저에서 출력 생성, 서버로 아무것도 전송되지 않음

자주 묻는 질문

robots.txt란 무엇이고 어디에 위치해야 하나요?

robots.txt는 웹 크롤러에게 어떤 페이지나 디렉토리에 접근할 수 있고 없는지를 알려주는 일반 텍스트 파일입니다. 웹사이트 루트(예: https://example.com/robots.txt)에 위치해야 합니다. 로봇 배제 프로토콜을 따르며, Google 같은 검색 엔진은 사이트를 크롤링하기 전에 이 파일을 확인합니다.

robots.txt에서 페이지를 차단하면 Google 검색 결과에서 제거되나요?

아니요. robots.txt에서 페이지를 Disallow하면 Googlebot이 크롤링하지 못하지만, 다른 사이트에서 그 페이지로 링크를 걸고 있다면 Google은 내용을 보지 않고도 해당 페이지를 색인에 등록하고 검색 결과에 표시할 수 있습니다. 완전히 색인에서 제외하려면 페이지 자체에 noindex 메타 태그를 사용하세요. robots.txt는 크롤링만 제어하며, 색인화는 제어하지 않습니다.

Disallow와 Allow 디렉티브의 차이는 무엇인가요?

Disallow는 봇이 특정 경로에 접근하지 못하도록 합니다. Allow는 더 구체적인 하위 경로에서 Disallow를 재정의합니다. 예를 들어 Disallow: /private/와 Allow: /private/public-page.html을 함께 사용하면 나머지 디렉토리는 차단하면서 그 특정 페이지만 접근을 허용합니다.

Googlebot만 차단하고 다른 크롤러는 허용하려면 어떻게 하나요?

두 개의 규칙 블록을 만드세요. 첫 번째 블록에서 User-agent를 Googlebot으로 설정하고 원하는 Disallow 경로를 지정합니다. 두 번째 블록에서 User-agent를 *(모든 봇)로 설정하고 Allow: /를 입력하여 전체 접근을 허용합니다. "+ 규칙 추가" 버튼으로 두 번째 블록을 만들 수 있습니다.

Crawl-delay 디렉티브란 무엇이고 언제 사용해야 하나요?

Crawl-delay는 봇에게 연속 요청 사이에 지정된 초 수만큼 기다리도록 요청합니다. 트래픽이 적은 사이트나 공격적인 크롤링을 처리할 수 없는 서버에 유용합니다. 단, Googlebot은 Crawl-delay를 무시하고 Google Search Console의 자체 크롤링 속도 설정을 사용합니다.

robots.txt에 sitemap을 포함하려면 어떻게 하나요?

Sitemap URL 필드에 사이트맵의 전체 URL을 입력하세요(예: https://example.com/sitemap.xml). 생성기가 출력에 Sitemap: 디렉티브를 추가합니다. 이를 통해 검색 엔진이 정확한 URL을 미리 알지 않아도 사이트맵을 찾을 수 있습니다.

봇마다 다른 규칙을 설정할 수 있나요?

네. "+ 규칙 추가" 버튼으로 여러 규칙 블록을 추가하고 각각 다른 User-agent 값을 설정하세요. 예를 들어 Googlebot, Bingbot, GPTBot 등을 지정할 수 있습니다. 각 블록에는 독립적인 Allow 및 Disallow 경로가 있어 크롤러마다 다른 접근 수준을 부여할 수 있습니다.

robots.txt는 민감한 파일을 보호하는 보안 수단인가요?

아니요. robots.txt는 정중한 요청이지 보안 통제 수단이 아닙니다. 일반 사용자나 악의적인 봇은 이를 무시하고 명시된 URL에 직접 접근할 수 있습니다. 민감한 데이터 보호를 위해 robots.txt에 의존하지 마세요. 기밀 페이지는 적절한 인증, 서버 측 접근 제어, 또는 방화벽 규칙으로 보호해야 합니다.