Granulált Bot és útvonalvezérlés
Határozzon meg külön engedélyezési és tiltási szabályokat az összes robothoz vagy bizonyos robotokhoz, például a Googlebothoz, a Bingbothoz és az AI-kaparókhoz (GPTBot, CCBot).
Robots.txt generátor
Valós időben személyre szabott robots.txt fájlokat hozhat létre feltérképező engedélyezési/letiltási szabályokkal, több webhelytérképpel, AI-bot-blokkolással és feltérképezési késleltetési beállításokkal.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlPontosan utasítsa a webes keresőrobotokat és az AI-botokat, védje meg az érzékeny útvonalakat, és optimalizálja a SEO feltérképezési hatékonyságát közvetlenül a böngészőben.
Határozzon meg külön engedélyezési és tiltási szabályokat az összes robothoz vagy bizonyos robotokhoz, például a Googlebothoz, a Bingbothoz és az AI-kaparókhoz (GPTBot, CCBot).
Beágyazhat XML-webhelytérkép-helyeket, és konfigurálhatja a feltérképezési sebességet, hogy megakadályozza, hogy a botforgalom túlterhelje a szerver erőforrásait.
Minden szabályelemzés és fájllétrehozás közvetlenül a helyi böngészőmemóriában fut, nulla követéssel vagy távoli feltöltésekkel.
2 perces szellemi felfrissülésre van szüksége? Ugorjon bele egy klasszikus kirakós játékba közvetlenül a böngészőben.