Control granular al botului și al căii
Definiți reguli separate de autorizare și interdicție pentru toți roboții sau roboții specifici, cum ar fi Googlebot, Bingbot și scrapers AI (GPTBot, CCBot).
Robots.txt Generator
Generați fișiere robots.txt personalizate cu reguli de permitere/interzicere a crawlerelor, hărți de site multiple, blocare bot AI și setări de întârziere a accesului cu crawler în timp real.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstruiți cu acuratețe crawlerele de căutare pe web și roboții AI, protejați rutele sensibile și optimizați eficiența crawlingului SEO direct în browser.
Definiți reguli separate de autorizare și interdicție pentru toți roboții sau roboții specifici, cum ar fi Googlebot, Bingbot și scrapers AI (GPTBot, CCBot).
Încorporați locații XML sitemap și configurați ratele de accesare cu crawlere pentru a preveni supraîncărcarea resurselor serverului de trafic bot.
Toate analizarea regulilor și crearea de fișiere rulează direct în memoria browserului dvs. local, fără urmărire sau încărcări de la distanță.
Ai nevoie de o reîmprospătare mentală de 2 minute? Sari într-un joc de puzzle clasic chiar în browserul tău.