Robots.txt 生成器

← 返回仪表板公用事业

免费在线 Robots.txt 生成器和验证器

实时生成带有爬虫允许/禁止规则、多个站点地图、AI 机器人阻止和抓取延迟设置的自定义 robots.txt 文件。

预设配置:

搜索爬虫(用户代理)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

路径访问控制

#1
#2
#3
#4
Quick Add:

站点地图和抓取速度

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

生成的 robots.txt 预览

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% 客户端浏览器内:所有 robots.txt 规则均在浏览器内存中本地生成。

为什么使用 Tool 200 免费在线 Robots.txt 生成器

直接在浏览器中准确指导网络搜索爬虫和人工智能机器人,保护敏感路线并优化 SEO 爬行效率。

精细机器人和路径控制

为所有机器人或特定机器人(例如 Googlebot、Bingbot 和 AI 抓取工具(GPTBot、CCBot))定义单独的允许和禁止规则。

站点地图和抓取延迟支持

嵌入 XML 站点地图位置并配置爬网速率,以防止机器人流量使服务器资源超载。

100% 客户端隐私

所有规则解析和文件创建都直接在本地浏览器内存中运行,零跟踪或远程上传。

快速大脑休息

换换脑子,来玩个轻松的迷你小游戏吧?

在工作间隙让大脑放松一下的免费网页经典游戏合集。