Granulær bot og banekontroll
Definer separate tillat- og ikke-tillat-regler for alle roboter eller spesifikke roboter som Googlebot, Bingbot og AI-skrapere (GPTBot, CCBot).
Robots.txt Generator
Generer tilpassede robots.txt-filer med crawler-tillat/ikke-tillat-regler, flere nettstedskart, AI-botblokkering og innstillinger for crawl-forsinkelse i sanntid.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstruer nettsøkeroboter og AI-roboter nøyaktig, beskytt sensitive ruter og optimaliser SEO-gjennomsøkingseffektiviteten direkte i nettleseren din.
Definer separate tillat- og ikke-tillat-regler for alle roboter eller spesifikke roboter som Googlebot, Bingbot og AI-skrapere (GPTBot, CCBot).
Bygg inn XML-områdekartplasseringer og konfigurer gjennomsøkingshastigheter for å forhindre bottrafikk fra å overbelaste serverressurser.
All regelparsing og filoppretting kjøres direkte i din lokale nettleserminne uten sporing eller fjernopplastinger.
Trenger du en 2-minutters mental oppfriskning? Hopp inn i et klassisk puslespill rett i nettleseren din.