تولیدکننده robots.txt

به خزنده‌های موتور جستجو می‌گوید کدام بخش‌های سایت را می‌توانند بخزند و کدام را نه.

نه لزوماً. robots.txt از خزش جلوگیری می‌کند اما گاهی صفحات با لینک خارجی همچنان ایندکس می‌شوند. برای جلوگیری کامل از noindex استفاده کنید.

بله، دقیقاً در آدرس yourdomain.com/robots.txt (نه در زیرپوشه).