Granulární Bot & Path Control
Definujte samostatná pravidla pro povolení a zakázání pro všechny roboty nebo konkrétní roboty, jako je Googlebot, Bingbot a AI scrapers (GPTBot, CCBot).
Generátor robots.txt
Vytvářejte přizpůsobené soubory robots.txt s pravidly povolení/zakázaní prohledávače, více souborů Sitemap, blokováním robotů AI a nastavením zpoždění procházení v reálném čase.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstruujte prohledávače na webu a roboty AI přesně, chraňte citlivé trasy a optimalizujte efektivitu procházení SEO přímo ve vašem prohlížeči.
Definujte samostatná pravidla pro povolení a zakázání pro všechny roboty nebo konkrétní roboty, jako je Googlebot, Bingbot a AI scrapers (GPTBot, CCBot).
Vložte umístění souborů Sitemap XML a nakonfigurujte rychlost procházení, abyste zabránili přetížení serverových zdrojů provozem robotů.
Veškerá analýza pravidel a vytváření souborů běží přímo v paměti vašeho místního prohlížeče s nulovým sledováním nebo vzdáleným nahráváním.
Potřebujete 2minutové duševní osvěžení? Skočte do klasické logické hry přímo ve vašem prohlížeči.