معرفی رباتهای جستجوگر و کاربرد انها

 
طراحی سایت
 
ربات وب یا جستجوگر، لینک سایت ها را طبق یک الگوریتم خاص بررسی می کنند و محتوای سایت ها را برای ذخیره کردن در پایگاه داده موتورهای جستجو ایندکس می کنند تا اطلاعات موتورهای جستجو در مورد محتوای سایت ها همیشه به روز باشد. این کار به صورت روزانه توسط ربات ها انجام می شود. به این پروسه crawl (خزیدن در بین صفحات سایت برای گردآوری اطلاعات سایت و به روز نگه داشتن اطلاعات موتورهای جستجو) و به این رباتها Web crawler ( عنکبوت وب یا ربات وب ) می گویند.
تعداد صفحاتی که گوگل از سایت شما crawl می کند به سایز سایت شما و تعداد ارورهایی که گوگل در سایت شما به آن برخورد می کند و همچنین به تعداد لینک هایی که به سایت شما داده شده است وابسته است.
 
crawler چطور کار می کند؟
یک crawler مانند گوگل بات (googlebot) لیستی از URL ها را از یک سایت می گیرد تا crawl کند. این لیست را به لیست ابتدایی اضافه می کند. وقتی ,URL یکبار crawl می شود و محتوای آن گردآوری می شود لینک هایی که در آن صفحه هست به لیست لینک هایی که باید جستجو شوند اضافه می شود.
چندین دلیل برای اینکه به گوگل احساس کند باید یک لینک را crawl کند وجود دارد.
راهی برای لیست کردن این دلایل وجود ندارد ولی هرزمان که دلیلی پیدا شود حتما لینک را به لیست اضافه می کند.
 
تعداد صفحاتی است که گوگل در روز از سایت شما crawl می کند را crawl budget می گویند.
Crawl budget مشکلاتی نیز ممکن است داشته باشد. فرض کنید سایت شما ۲۵۰۰۰۰ صفحه داشته باشد اگر در هر روز ۲۵۰۰ صفحه crawl کند از آنجا که بعضی صفحه ها را بیشتر جستجو می کند تقریبا ۲۰۰روز طول می کشد کل سایت crawl شود. اینجاست که دردسر ساز می شود. اگر به عنوان مثال ۵۰۰۰۰ در روز کرول میکرد مشکلی نبود.
 
برای اینکه ببینید آیا سایت شما مشکل crawl budget دارد یا نه مراحل زیر را دنبال کنید.
 
۱)بررسی کنید که چند صفحه در سایت خود دارید.
۲)به google search console بروید.
۳)به قسمت crawl->crawl stats و ببینید در هر روز تقریبا چند صفحه crawl می شود.
۴)تعدا صفحات سایت را به متوسط صفحات کرول شده در هر روز تقسیم کنید
۵)اگر با عددی بزرگتر از ۱۰ رو به رو شدید باید crawl budget خود را بهینه سازی کنید.
 
برای اینکه crawl budget سایت خود را افزایش دهید چندین روش وجود دارد:
-اولین قدم برای این کار اطمینان یافتن از این است که صفحاتی که crawl می شوند یکی از دو کد ۲۰۰ یا ۳۰۱ را برمیگردانند. بقیه کدها قابل قبول نیست.
-قسمتی از سایت خود را که نیاز به گوگل کردن ندارد را بلاک کنید.
-باید خیلی بیشتر به شما لینک بدهند. این کار در عمل ساده نیست. دیگران باید اطلاع داشته باشند که سایت شما ارزش لینک دادن دارد تا مخاطبانشان را به سایت شما هدایت کنند.

خانه --> اخبار و مقالات --> معرفی رباتهای جستجوگر و کاربرد انها

جهت دریافت آخرین مقالات و آموزشها ایمیل خود را وارد نمایید. پس از عضویت ایمیلی بصورت اتوماتیک به آدرس ایمیل شما ارسال خواهد شد که باید وارد شده و عضویت خود را تایید نمایید.

لطفا آدرس ایمیل را بدون WWW وارد نمائید.

نظرات کاربران