정밀한 크롤러 및 경로 접근 제어
구글봇, 빙봇 등 검색 엔진부터 GPTBot, ClaudeBot 등 AI 스크래퍼까지 모든 로봇 또는 특정 봇별 Allow/Disallow 규칙을 세밀하게 정의합니다.
Robots.txt 생성기
검색 엔진 및 AI 크롤러 접근 허용/차단 규칙, 사이트맵 등록, 크롤 지연 시간(Crawl-delay) 설정을 브라우저에서 100% 실시간 생성하세요.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml검색 로봇과 인공지능 봇의 크롤링 경로를 정밀하게 제어하고, 불필요한 서버 부하 방지 및 SEO 크롤링 예산을 최적화하세요.
구글봇, 빙봇 등 검색 엔진부터 GPTBot, ClaudeBot 등 AI 스크래퍼까지 모든 로봇 또는 특정 봇별 Allow/Disallow 규칙을 세밀하게 정의합니다.
XML 사이트맵 URL을 지정하여 검색 엔진 인덱싱을 돕고, 서버 과부하를 막기 위해 Crawl-delay 주기를 손쉽게 구성합니다.
입력된 모든 도메인 및 경로 데이터는 서버로 전송되지 않고 브라우저 단에서 안전하게 처리되어 파일 다운로드 및 복사를 지원합니다.
작업 중 잠시 두뇌를 환기할 수 있는 무료 웹 브라우저 게임 컬렉션입니다.