Penjana Robots.txt

Penjana & Pengesah Robots.txt Dalam Talian Percuma

Hasilkan fail robots.txt tersuai dengan peraturan membenarkan/tidak membenarkan perangkak, berbilang peta laman, penyekatan bot AI dan tetapan kelewatan-rangkak dalam masa nyata.

Konfigurasi Pratetap:

Perayap Carian (Ejen pengguna)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

Kawalan Akses Laluan

#1
#2
#3
#4
Quick Add:

Peta Laman & Kadar Merangkak

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

Pratonton robots.txt yang dihasilkan

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% Penyemak Imbas Sebelah Pelanggan: Semua peraturan robots.txt dijana secara setempat dalam memori penyemak imbas anda.

Mengapa Menggunakan Alat 200 Penjana Robots.txt Dalam Talian Percuma

Arahkan perangkak carian web dan bot AI dengan tepat, lindungi laluan sensitif dan optimumkan kecekapan rangkak SEO terus dalam penyemak imbas anda.

Butiran Bot & Kawalan Laluan

Tentukan peraturan membenarkan dan tidak membenarkan yang berasingan untuk semua robot atau bot tertentu seperti Googlebot, Bingbot dan pengikis AI (GPTBot, CCBot).

Sokongan Peta Laman & Crawl-Delay

Benamkan lokasi peta laman XML dan konfigurasikan kadar rangkak untuk menghalang trafik bot daripada membebankan sumber pelayan.

100% Privasi Sebelah Pelanggan

Semua penghuraian peraturan dan penciptaan fail dijalankan terus dalam memori penyemak imbas setempat anda dengan penjejakan sifar atau muat naik jauh.

Pantas Otak

Bagaimana dengan permainan mini pantas untuk tenangkan fikiran?

Perlukan penyegaran mental selama 2 minit? Lompat ke permainan teka-teki klasik terus dalam penyemak imbas anda.