Kontrol Bot & Jalur Granular
Tetapkan aturan izin dan larangan terpisah untuk semua robot atau bot tertentu seperti Googlebot, Bingbot, dan AI scraper (GPTBot, CCBot).
Pembuat Robots.txt
Hasilkan file robots.txt yang disesuaikan dengan aturan izinkan/larang perayap, beberapa peta situs, pemblokiran bot AI, dan pengaturan penundaan perayapan secara real-time.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstruksikan perayap penelusuran web dan bot AI secara akurat, lindungi rute sensitif, dan optimalkan efisiensi perayapan SEO langsung di browser Anda.
Tetapkan aturan izin dan larangan terpisah untuk semua robot atau bot tertentu seperti Googlebot, Bingbot, dan AI scraper (GPTBot, CCBot).
Sematkan lokasi peta situs XML dan konfigurasikan kecepatan perayapan untuk mencegah lalu lintas bot membebani sumber daya server secara berlebihan.
Semua penguraian aturan dan pembuatan file dijalankan langsung di memori browser lokal Anda tanpa pelacakan atau unggahan jarak jauh.
Butuh penyegaran mental 2 menit? Masuk ke permainan puzzle klasik langsung di browser Anda.