Crawl Budget یا بودجه خزش چیست؟

گوگل سیستمی طراحی کرده است که به آن ربات های گوگل میگویند. این ربات ها وضعیت صفحه هایی که درخواست ایندکس شدن در گوگل را میدهند را بررسی میکنند و به این کار خزش یا خزیدن میگویند. در این مقاله به توضیحاتی در مورد بودجه خزش میپردازیم و به سوال بودجه خزش چیست پاسخ میدهیم.

همانطور که میدانید ربات های گوگل هر روز به صورت نامحدود صفحه های وبسایت ها را بررسی یا به اصطلاح خزش نمیکنند. گوگل برای وبسایت های مختلف بودجه ای به نام بودجه خزش یاCrawl Budget  تایین میکند و این بودجه، بودجه ای است که تعداد صفحه های یک وبسایت که ربات های گوگل هر روز ان را بررسی میکنند را تایین میکند.

بودجه خزش چیست و چه اهمیتی دارد؟

به زبان ساده تر بودجه خزش مانند یک سکه یا یک نوع ارز پول است. گوگل هر روز تعدادی از این سکه ها را به شما میدهد. هر ربات گوگل که وارد وبسایت شما میشود برای بررسی هر یک از صفحه های شما یک سکه دریافت میکند.

هر روز تا زمانی که سکه های کافی دارید ربات های گوگل صفحه های وبسایت شما را بررسی میکنند. زمانی که سکه های شما تمام شود ربات های گوگل سایت شما را ترک میکنند تا فردا که از گوگل سکه دریافت میکنید.

شما باید در بودجه خزش خود صرفه جویی کنید تا صفحه های مهم وبسایت شما توسط ربات های گوگل بررسی و در نهایت ایندکس شوند. راه های مختلفی برای صرفه جویی در بودجه خزش وجود دارد. در ادامه مقاله بودجه خزش چیست به این راه ها میپردازیم.

گوگل چگونه بودجه خزش را محاسبه میکند؟

شاید با خود بپرسید که ایا Crawl Budget سایت های بزرگ که روزانه صد ها خبر منتشر میکنند با سایت هایی که روزانه حداثر یک یا دو مقاله منتشر میکنند برابر است یا خیر. پاسخ کوتاه خیر است.

گوگل ملاک هایی برای تایین Crawl Budget هر وبسایت دارد و به هر وبسایت میزان خاصی بودجه خزش میپردازد. چهار مورد اصلی برای تایین بودجه خزش:

·         تعداد صفحه های سایت؛ زیرا سایت های حجیم مانند سایت های خبری به بودجه خزش بیشتری احتیاج دارند.

·         ساختار لینک های داخلی وبسایت.

·         میانگین زمان بروز رسانی وبسایت و ساخت صفحه های جدید.

·         سئو فنی یا سئو تکنیکال که شامل سرعت لود شدن وبسایت میشود.

راه های بهبود و صرفه جویی در بودجه خزش

افزایش سرعت سایت و بهبود سئو فنی

یکی از اولین راه هایی که برای بهبود Crawl Budget به فکر افراد میرسد افزایش سرعت سایت و بهینه سازی آن برای سئو است. جدا از اینکه بهبود سرعت سایت برای بهبود بودجه خزش خوب است، تاثیرات بسیار خوب دیگری نیز بر روی سئو به جا میگذارد.

بهبود سرعت سایت باعث میشود کاربران بیشتری جذب کنید. زیرا بخش زیادی از کاربران در صورتی که یک وبسایت قبل از 3 ثانیه لود نشود ان را ترک میکنند. همچنین به صورت کلی گوگل به وبسایت هایی که سرعت بالاتری دارند علاقه بیشتری نشان میدهد.

در نتیجه در اولین قدم سرعت وبسایت خود را بهبود ببخشید.

جلوگیری از ایندکس شدن URL های پارامتر دار

برای مثال صفحه های زیر را در نظر بگیرید:

example.com/products/bag

example.com/products/bag?color=blue

example.com/products/bag?color=red

همانطور که میبینید تمام صفحه ها به یک صفحه اشاره دارند اما در دو مورد آخر یک پارامتر به نام color یا رنگ وجود دارد. باید اطمینان حاصل کنید که این صفحه ها ایندکس نمیشوند و ربات های گوگل به انها نمیتوانند دسترسی پیدا کنند.

این پارامتر ها کاربرد های فراوانی برای فیلتر و موارد مشابه دارند اما به هر حال صفحه های اضافی به شمار میروند و باید جلو ایندکس شدن ان ها را بگیرید.

یکی از کار هایی که برای جلوگیری از دسترسی ربات های گوگل به این صفحه ها میتوانید انجام دهید استفاده از فایل robot.txt و noindex کردن این صفحه ها است.

استفاده مناسب از لینک های داخلی

لینک سازی داخلی باعث میشود ربات های گوگل به صفحه های دیگر ارجاع پیدا کنند و مجبور به ایندکس کردن ان صفحه ها هم شوند.

لینک سازی داخلی یکی از بهترین کار هایی است که میتوانید برای بهبودCrawl Budget وبسایت خود انجام دهید. در نتیجه باید به لینک سازی داخلی اهمیت بدهید و از ان نهایت استفاده را ببرید.

صفحه های یتیم را فراموش نکنید

به صفحه هایی که هیچ لینک داخلی به انها وجود ندارد و هیچ بک لینکی به انها داده نشده است صفحه های یتیم یا Orphan Pages میگویند. پیدا کردن این صفحه ها و ایندکس انها برای ربات های گوگل بسیار دشوار است.

 اگر میخواهید مطمئن شوید که Crawl Budget به درستی بین صفحه ها تقسیم میشود اطمینان حاصل کنید که از لینک های داخلی وبسایتتان از ساختار مناسبی برخوردار هستند و صفحه هایی که قرار است ایندکس شوند حتما از صفحه های دیگر به انها لینک داده شده باشد.

صفحه هایی با محتوا تکراری نسازید

صفحه هایی که محتوایشان در یک یا چند صفحه دیگر وبسایت وجود است مشکلات زیادی را برای سئو وبسایت به وجود میاورند. یکی از این مشکلات از بین رفتن بودجه خزش وبسایت است.

تلاش کنید تمام محتوایی که تولید میکنید و تمام صفحه های وبسایتتان منحصر به فرد باشند. زیرا صفحه های تکراری نه تنها سودی ندارند بلکه لطمه های بزرگی به سئو وبسایت میزنند.

جلوگیری از صفحه های تکراری در وبسایت های خبری بزرگ نسبت به وبسایت های عادی کمی دشوار است. اما به هر حال باید به دقت و نهایت تلاش خود از این صفحه ها جلوگیری کنید.

در پایان مقاله بودجه خزش چیست

در این مقاله به توضیحاتی در مورد بودجه خزش پرداختیم و به سوال بودجه خزش چیست پاسخ دادیم.

وب مستر ها باید اهمیت بسیاری به Crawl Budget دهند زیرا Crawl Budget یکی از مهم ترین بخش های سئو و ایندکس شدن وبسایت است. اگر بودجه خزش خود را هدر دهید مانند این است که تمام زحمت های خود برای سئو سایتتان را هدر داده اید.

همانطور که گفتیم تعدادی از قوانین سئو مانند لینک سازی و سرعت سایت بر روی Crawl Budget نیز تاثیر میگذارند. پس باید توجه بسیار زیادی به این قوانین نشان دهید و ان ها را به حال خودشان رها نکنید زیرا این کار ها نتیجه ای جز شکست خوردن در استراتژی سئو وبسایتتان ندارد.