بودجه خزش در بهینه سازی سئو فاکتوری مهم برای وب سایت های بزرگ
سئو با تمام تکنیک ها و الگوریتم های حاکم بر آن از گذشته تا به امروز تغییرات بسیاری داشته است، به طوری که برخی تکنیک ها در طی سال های اخیر منسوخ شده اند. در عوض فاکتورهای جدیدی در زمینه سئو مطرح می شود. البته برخی تکنیک های سئو نیز همچنان بر قوت خود باقی مانده اند. به عنوان مثال تا چند سال پیش سایت ها با مزرعه لینک، بک لینک های زیادی را برای خود ایجاد می کردند، اما گوگل با انتشار الگوریتم پنگوئن تاثیر این بک لینک ها را نادیده گرفت و امروزه آنها را به عنوان اسپم در نظر می گیرد که شامل جریمه گوگل نیز می شود. بودجه خزش در بهینه سازی سئو تأثیر گذار است. که معیارهای زیادی از جمله اعتبار دامنه در تعیین آن نقش دارند. بنابراین اگر به دنبال یادگیری مفاهیم سئو هستید، این مطلب را از دست ندهید.
بودجه خزش چیست؟
برای درک مفهوم بودجه خزش یا Crawl Budget ابتدا باید توضیحی در مورد خزش یا کرول شدن سایت ارائه دهیم. موتور جستجوی گوگل برای اینکه نتایج بهتری را به کاربران خود نمایش دهد، کلیه سایت های موجود در فضای وب را به وسیله ربات های گوگل کرول می کند. در واقع خزنده یا کرولرهای گوگل تمام محتوا، لینک ها و اطلاعات صفحات سایت شما را بررسی می کنند تا مرتبط ترین و مناسب ترین آنها را در لیست نتایج جستجو نمایش دهند.
متخصصین سئو تعریف خوبی درمورد بودجه خزش سئو دارند: “بودجه خزش یا Crawl Budget تعداد صفحاتی است که در یک دوره زمانی مشخص مانند یک هفته در سایت شما کرول می شود. کرول فرایندی است که به طور مداوم در حال انجام است. حال با توجه به حجم بالای سایت هایی که هر روزه به دنیای اینترنت اضافه می شوند؛ گوگل برای مدیریت و بهینه سازی این فرآیند اولویت بندی و محدودیت هایی را قائل می شود. بنابراین می توان گفت بودجه خزش یک سایت میزان توجه گوگل به صفحات آن برای خزش یا کرول شدن است.”
فاکتورهای تعیین کننده بودجه خزش
برای سایت هایی با تعداد صفحات کم، کرول شدن کل صفحات مسئله ای طبیعی و بدیهی است، اما وقتی به سایت هایی با چندین هزار صفحه محتوا می رسیم، اولویت کرول و ایندکس شدن برخی صفحات و محتواها به یک دغدغه مهم تبدیل می شود. گوگل در تعیین نرخ بودجه خزش یک سایت، از دو فاکتور مهم با نام های Crawl Limit و Crawl Demand بهره می گیرد.
Crawl limit / host load
هر بار که ربات های گوگل صفحه ای از سایت را کرول می کنند، درخواستی مبنی بر دسترسی به منابع سایت را به سمت سرور ارسال می کنند. حال اگر تعداد این درخواست ها بسیار بالا باشد، منابع سرور قادر به پاسخگویی به درخواست ها نخواهند بود و سایت از کار می افتد یا اصطلاحا down می شود.
به عنوان مثال سایت هایی با تعداد صفحات بالا بهتر است از هاست اشتراکی استفاده نکنند، زیرا در این حالت بودجه خزش آنها به میزان قابل توجهی کاهش می یابد.
Crawl demand / crawl scheduling
گوگل با این فاکتور به دنبال تعیین ارزش صفحات سایت برای کرول شدن یا زمانبندی کرول مجدد آنها است. برای تعیین این ارزش چند معیار مهم وجود دارد:
- میزان محبوبیت یک صفحه: میزان لینک های داخلی و خارجی با کیفیت که در یک صفحه وجود دارد و اینکه صفحه مورد نظر در چند کلمه کلیدی جایگاه داشته باشد، در تعیین میزان محبوبیت آن نقش دارد.
- نوع صفحه: برای مثال می توان گفت صفحه دسته بندی محصولات در یک فروشگاه اینترنتی بسیار بیشتر از صفحه”درباره ما” احتمال تغییر محتوا دارد، پس اهمیت آن برای کرول شدن بیشتر است.
- تازگی محتوا: آپدیت محتواهای قبلی باعث می شود که ربات های گوگل مجددا در این صفحه خزش داشته باشند.
- کیفیت محتوا: صفحاتی که محتوای کمی دارد یا محتوای آن کیفیت چندانی ندارد، ارزش کرول شدن ندارند.
- نقشه سایت: زمانی که یک صفحه در نقشه سایت وجود داشته باشد، اولویت بالاتری برای خزش دارد.
داشتن این پنج معیار گوگل را متقاعد می کند که این صفحه ارزش کرول شدن دارد، اما در ابتدای کار گوگل باید تمام صفحات سایت شما را کرول کند تا آنها را برای کرول مجدد اولویت بندی نماید.
اهمیت بودجه خزش در بهینه سازی سئو
اگرچه بودجه خزش جزو فاکتورهای سئو محسوب نمی شود، اما در سایت های بزرگ با چندین هزار صفحه تاثیر مهمی بر نتیجه گرفتن شما از اقدامات سئو دارد. به طور مثال شما ممکن است صفحاتی در سایت خود ایجاد نمایید و از نظر محتوا و اصول سئو آن را به بهترین شکل ارائه دهید، اما تا زمانی که این صفحه ایندکس نشود، هیچ جایگاهی در لیست نتایج گوگل کسب نخواهد کرد. یکی از دلایل ایندکس نشدن برخی صفحات سایت به خاطر کرول نشدن آن است. در واقع ربات های گوگل در هنگام بررسی سایت و تعیین نرخ بودجه خزش این صفحه را در اولویت بندی خود قرار نداده اند.
در سه حالت بودجه خزش برای سایت اهمیت پیدا می کند:
- زمانی که شما سایتی با بیش از ۱۰ هزار صفحه داشته باشید.
- زمانی که تعداد زیادی صفحه جدید را به صورت یکجا به سایت اضافه می کنید.
- زمانی که ریدایرکت های پی در پی زیادی در سایت خود داشته باشید.
معمولا چه صفحاتی در سایت کرول نمی شوند؟
ربات های گوگل بعد از بررسی تمام سایت شما درباره کرول نشدن برخی صفحات تصمیم می گیرند و به طور معمول برای کرول چنین صفحه هایی اولویت پایین تر در نظر می گیرند:
- صفحات یتیم یعنی صفحاتی که هیچ لینک داخلی و خارجی به آن وجود ندارد.
- صفحات با محتوای تکراری که تمام یا بخشی از آن تکراری باشد.
- صفحات دارای خطا
- محتوای بی کیفیت و اسپم
- صفحات خالی
- صفحات با سرعت بارگذاری پایین
بنابراین بهتر است اگر چنین صفحاتی در سایت خود دارید، آنها را حذف کرده یا مشکل آن را برطرف کنید.
چگونه بودجه خزش سایت را بهینه کنیم؟
زمانی که بخواهیم بودجه خزش سایت به درستی و برای صفحات مهم سایت صرف شود، می بایست مواردی را که باعث هدر رفتن بودجه خزش سایت می شود برطرف نماییم.
بهبود سرعت سایت
هر چه سرعت بارگذاری صفحات سایت شما بالاتر باشد، ربات های گوگل زمان بیشتری را برای خزش صفحات خواهند داشت.
لینک دهی داخلی
اگر لینک دهی داخلی به درستی انجام شود، ربات های گوگل این صفحات را در اولویت کرول قرار می دهند. به این ترتیب شما می توانید ربات های گوگل را به صفحاتی که می خواهید کرول و ایندکس شوند، هدایت کنید.
ساختار آدرس دهی سایت
برای هدر نرفتن بودجه خزش و دسترسی راحت تر کاربران و ربات های گوگل به بخش های مختلف سایت، ساختار آدرس دهی نهایتا تا ۴ سطح ادامه پیدا کند.
تقویت اعتبار دامنه و اعتبار صفحات
گوگل برای اولویت بندی سایت ها و صفحات آن از مفاهیمی با نام های اعتبار دامنه (Domain Authority) و اعتبار صفحه (Page Authority) کمک می گیرد. هر چه اعتبار یک دامنه یا صفحه بیشتر باشد، گوگل اهمیت بیشتری برای آن قائل است. بنابراین می توان گفت اعتبار دامنه و صفحات با بودجه خزش رابطه مستقیمی دارد.
انتشار محتوا به صورت منظم و متناوب
زمانی که کرولرهای گوگل متوجه یک روند ثابت و متناوب در انتشار محتوای سایت می شوند، زمانبندی کرول دوباره سایت را بر مبنای آن تنظیم می کنند. مثلا در سایت های خبری که روزانه هزاران محتوای جدید منتشر می شود، ربات های گوگل چندین بار در روز صفحات آن را کرول می کنند. اما در سایت های که روند انتشار محتوا کندتر و در فواصل زمانی طولانی تر است، ربات های گوگل نیز در فاصله زمانی بیشتری برای کرول مجدد به سایت بر می گردند.
مدیریت ریدایرکت ها
با وجود ریدایرکت های زیاد در سایت بخش قابل توجهی از بودجه خزش سایت شما هدر می رود. بنابراین بهتر است میزان ریدایرکت های سایت را مدیریت کنید و زنجیره های ریدایرکت را به حداقل برسانید. زمانی که صفحه A را به صفحه B و پس از مدتی صفحه B را به C ریدایرکت کنیم، زنجیره ریدایرکت ایجاد کرده ایم که اصلا برای سایت خوب نیست.
منبع: خبر الف