کنترل دقیق ربات و مسیر
برای همه رباتها یا رباتهای خاص مانند Googlebot، Bingbot و Scraperهای هوش مصنوعی (GPTBot، CCBot) قوانین مجاز و غیرمجاز جداگانه تعریف کنید.
ابزار تولید Robots.txt
فایلهای robots.txt سفارشیشده را با قوانین اجازه/عدم اجازه خزنده، نقشههای سایت متعدد، مسدود کردن ربات هوش مصنوعی و تنظیمات تاخیر خزیدن در زمان واقعی ایجاد کنید.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlبه خزنده های جستجوی وب و ربات های هوش مصنوعی به طور دقیق آموزش دهید، از مسیرهای حساس محافظت کنید، و کارایی خزیدن SEO را مستقیماً در مرورگر خود بهینه کنید.
برای همه رباتها یا رباتهای خاص مانند Googlebot، Bingbot و Scraperهای هوش مصنوعی (GPTBot، CCBot) قوانین مجاز و غیرمجاز جداگانه تعریف کنید.
مکان های نقشه سایت XML را جاسازی کنید و نرخ های خزیدن را پیکربندی کنید تا از بارگیری بیش از حد منابع سرور توسط ترافیک ربات جلوگیری کنید.
تمام تجزیه قوانین و ایجاد فایل مستقیماً در حافظه مرورگر محلی شما با ردیابی صفر یا آپلود از راه دور اجرا می شود.
به یک تجدید ذهنی 2 دقیقه ای نیاز دارید؟ مستقیماً در مرورگر خود وارد یک بازی پازل کلاسیک شوید.