فایل فایل robots.txt چیست و چه مزایایی در در طراحی سایت دارد؟

طراحی سایت تهران

 

فایل robots.txt چیست؟

خزنده ها می خواهند تا آنجاییکه ممکن می باشد وب سایت را ایندکس کنند ، مگر آنکه شما به آنها مطالبی را اطلاع بدهید.
زمانیکه خزنده وب سایت شما را بازدید می کند ،به دنبال robots.txt می گردد. این فایل به خزنده دستورالعملی می دهد بابت اینکه کدام صفحات را ایندکس کن و کدام صفحات را نادیده بگیر.
 
با ایجاد فایل robots.txt شما می توانید از دسترسی موتور های جستجو به برخی از قسمت های وب سایتتان در طراحی سایت جلوگیری کنید.
فایل robots.txt در مسیر دایرکتوری وب سایت شما قرار می گیرد.به طور مثال : www.yoursite.com/robots.txt
هشدار: اگر شما فایل robots.txt را به سایت خود اضافه کرده اید ، لطفا” چندین بار آن را چک کنید .احیانا” ممکن است سهوا” دسترسی خزنده ها را به صفحات مهم وب سایت خود بسته باشید.
 
ساختن robots.txt

Robots.txt یک فایل متنی ساده می باشد با چند رکورد.هر رکورد شامل دو بخش می باشد: user-agent و disallow
بخش user-agent مشخص می کند که کدام خزنده ها باید از اطلاعات disallow استفاده کنند.بخش disallow مشخص می کند که خزنده های مجاز کدام بخش از وب سایت را نمی توانند ایندکس کنند.
 
مزایای robots file
 
قبل از اینکه به جزئیات چگونگی ایجاد یک فایل robots.txt و robots متا تگ بپردازیم ، باید نگاهی به مزایای آن بیندازیم .

۱) جلوگیری از ایندکس شدن مطالب تکراری

متن های تکراری تلاش های شما برای سئو و نمایش در رتبه های بالای موتور های جستجو را کم رنگ خواهد کرد.استفاده از فایل robots و برچسب با مسدود کردن صفحات تکراری می تواند مشکل را برطرف کند.
 
۲) برای صفحات ناقص

اگر صفحه جدیدی را در وب سایت ایجاد کرده اید که هنوز ناقص می باشد با استفاده از فایل robots می توانید از ایندکس شدن آن صفحه در موتور های جستجو جلوگیری کنید تا زمانیکه آن صفحه را کامل کنید.
 
۳) محدود کردن موتور های جستجو برای ایندکس کردن صفحات یا فایل های محرمانه

بعضی از وب سایت ها صفحات محرمانه ای دارند که آن را با استفاده از قرار دادن امکان login مسدود کرده اند.یک روش آسان برای مخفی کردن آن صفحات وب سایت از موتور های جستجو استفاده از فایل robots.txt می باشد.

خانه --> اخبار و مقالات --> فایل فایل robots.txt چیست و چه مزایایی در در طراحی سایت دارد؟

جهت دریافت آخرین مقالات و آموزشها ایمیل خود را وارد نمایید. پس از عضویت ایمیلی بصورت اتوماتیک به آدرس ایمیل شما ارسال خواهد شد که باید وارد شده و عضویت خود را تایید نمایید.

لطفا آدرس ایمیل را بدون WWW وارد نمائید.

نظرات کاربران