Robots.txt Generator

Libreng Online Robots.txt Generator at Validator

Bumuo ng mga naka-customize na robots.txt na file na may crawler allow/disallow na mga panuntunan, maraming sitemap, AI bot blocking, at mga setting ng crawl-delay sa real time.

Mga Preset na Configuration:

Search Crawler (User-agent)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

Path Access Control

#1
#2
#3
#4
Quick Add:

Sitemap at Rate ng Pag-crawl

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

Binuo ng robots.txt Preview

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% Client-Side In-Browser: Lahat ng robots.txt rules ay lokal na nabuo sa iyong browser memory.

Bakit Gumamit ng Tool 200 Libreng Online Robots.txt Generator

Tumpak na turuan ang mga crawler ng paghahanap sa web at AI bot, protektahan ang mga sensitibong ruta, at direktang i-optimize ang kahusayan sa pag-crawl ng SEO sa iyong browser.

Butil-butil na Bot at Kontrol ng Landas

Tukuyin ang hiwalay na payagan at hindi payagan ang mga panuntunan para sa lahat ng robot o partikular na bot tulad ng Googlebot, Bingbot, at AI scraper (GPTBot, CCBot).

Suporta sa Sitemap at Crawl-Delay

I-embed ang mga lokasyon ng XML sitemap at i-configure ang mga rate ng pag-crawl upang maiwasan ang trapiko ng bot na mag-overload ng mga mapagkukunan ng server.

100% Client-Side Privacy

Ang lahat ng pag-parse ng panuntunan at paggawa ng file ay direktang tumatakbo sa iyong lokal na memorya ng browser na walang pagsubaybay o malayuang pag-upload.

Mabilis na Brain Break

Kumusta ang isang mabilis na mini-game para makapagpahinga?

Kailangan ng 2 minutong pag-refresh ng kaisipan? Tumalon sa isang klasikong larong puzzle sa iyong browser.