Punjepunje Bot & Udhibiti wa Njia
Bainisha sheria tofauti za kuruhusu na usiruhusu roboti zote au vijibu mahususi kama vile Googlebot, Bingbot, na vikwaruzi vya AI (GPTBot, CCBot).
Robots.txt Jenereta
Tengeneza faili za robots.txt zilizobinafsishwa kwa kutumia sheria za kutambaa, ruhusu/usiruhusu, ramani nyingi za tovuti, uzuiaji wa roboti wa AI na mipangilio ya kuchelewesha kutambaa kwa wakati halisi.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlWaelekeze watambaji wa utafutaji wa wavuti na roboti za AI kwa usahihi, linda njia nyeti, na uboreshe ufanisi wa utambazaji wa SEO moja kwa moja kwenye kivinjari chako.
Bainisha sheria tofauti za kuruhusu na usiruhusu roboti zote au vijibu mahususi kama vile Googlebot, Bingbot, na vikwaruzi vya AI (GPTBot, CCBot).
Pachika maeneo ya ramani ya tovuti ya XML na usanidi viwango vya kutambaa ili kuzuia trafiki ya roboti kutokana na upakiaji wa rasilimali za seva.
Uchanganuzi wote wa sheria na uundaji wa faili huendeshwa moja kwa moja kwenye kumbukumbu ya kivinjari chako cha ndani bila ufuatiliaji sifuri au upakiaji wa mbali.
Je, unahitaji kuburudishwa kiakili kwa dakika 2? Ingia kwenye mchezo wa mafumbo wa kawaida kwenye kivinjari chako.