ربات های جستجوگر که وارد سایت شما می شوند طبق برنامه یشان در ابتدا فایل robots.txt که یک فایل متنی است را میخوانند با این فایل توسط مجموعه دستوراتی دسترسی ربات ها را به قسمت های مختلف سایت کنترل می کنیم. این فایل حتما باید در دایرکتوری ریشه ی سایت تعریف شود و دقت کنید که هر سایت فقط یک فایل robots.txt لازم دارد و باید ایجاد شود نه بیشتر.