Granular Bot & Path Control
Määritä erilliset sallimis- ja estosäännöt kaikille roboteille tai tietyille boteille, kuten Googlebotille, Bingbotille ja tekoälykaavimmille (GPTBot, CCBot).
Robots.txt-generaattori
Luo räätälöityjä robots.txt-tiedostoja indeksointirobotin sallimis- ja estosäännöillä, useilla sivustokartoilla, tekoälybottien esto- ja indeksointiviiveasetuksella reaaliajassa.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlOhjaa verkkohaun indeksointirobotteja ja tekoälybotteja tarkasti, suojaa herkät reitit ja optimoi SEO-indeksoinnin tehokkuus suoraan selaimessasi.
Määritä erilliset sallimis- ja estosäännöt kaikille roboteille tai tietyille boteille, kuten Googlebotille, Bingbotille ja tekoälykaavimmille (GPTBot, CCBot).
Upota XML-sivustokartan sijainnit ja määritä indeksointinopeudet estääksesi robottiliikennettä ylikuormittamasta palvelinresursseja.
Kaikki sääntöjen jäsennys ja tiedostojen luonti suoritetaan suoraan paikallisessa selaimen muistissa ilman seurantaa tai etälatauksia.
Tarvitsetko 2 minuutin henkistä virkistystä? Hyppää klassiseen pulmapeliin suoraan selaimessasi.