रोबोट्स.txt जेनरेटर

मुफ़्त ऑनलाइन robots.txt जेनरेटर और सत्यापनकर्ता

वास्तविक समय में क्रॉलर अनुमति/अस्वीकृत नियमों, एकाधिक साइटमैप, एआई बॉट ब्लॉकिंग और क्रॉल-विलंब सेटिंग्स के साथ अनुकूलित robots.txt फ़ाइलें जेनरेट करें।

पूर्व निर्धारित विन्यास:

क्रॉलर खोजें (उपयोगकर्ता-एजेंट)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

पथ अभिगम नियंत्रण

#1
#2
#3
#4
Quick Add:

साइटमैप और क्रॉल दर

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

जेनरेटेड robots.txt पूर्वावलोकन

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% क्लाइंट-साइड इन-ब्राउज़र: सभी robots.txt नियम आपके ब्राउज़र मेमोरी में स्थानीय रूप से उत्पन्न होते हैं।

टूल 200 निःशुल्क ऑनलाइन रोबोट.txt जेनरेटर का उपयोग क्यों करें

वेब खोज क्रॉलर और एआई बॉट को सटीक रूप से निर्देश दें, संवेदनशील मार्गों की सुरक्षा करें, और सीधे अपने ब्राउज़र में एसईओ क्रॉलिंग दक्षता को अनुकूलित करें।

दानेदार बॉट और पथ नियंत्रण

सभी रोबोट या Googlebot, Bingbot, और AI स्क्रेपर्स (GPTBot, CCBot) जैसे विशिष्ट बॉट के लिए अलग-अलग अनुमति और अस्वीकृत नियमों को परिभाषित करें।

साइटमैप और क्रॉल-विलंब समर्थन

बॉट ट्रैफ़िक को सर्वर संसाधनों पर ओवरलोड होने से रोकने के लिए XML साइटमैप स्थानों को एम्बेड करें और क्रॉल दरों को कॉन्फ़िगर करें।

100% क्लाइंट-साइड गोपनीयता

सभी नियम पार्सिंग और फ़ाइल निर्माण शून्य ट्रैकिंग या रिमोट अपलोड के साथ सीधे आपके स्थानीय ब्राउज़र मेमोरी में चलते हैं।

त्वरित ब्रेन ब्रेक

दिमाग को तरोताजा करने के लिए एक त्वरित मिनी-गेम कैसा रहेगा?

2 मिनट की मानसिक ताजगी की आवश्यकता है? सीधे अपने ब्राउज़र में एक क्लासिक पहेली गेम में कूदें।