منظور از کرال باجت (سهمیه خزش) در سئو چیست

فهرست مطلب :

با وجود بیش از 2 میلیارد وب سایت و بیش از 1 تیریلیون صفحه و صفحاتی جدیدی که روزانه به آن ها اضافه می شوند، کار گوگل نیز برای جسجتجو و ایندکس صفحات دشوار و دشوارتر میشود.

گوگل با ابر کامپیوترهای خود همواره در حال جستجوی شبکه گسترده وب به منظور یافتن صفحات تازه منتشر شده است. 

 گوگل صفحاتی را که از پیش در دیتابیس خود ایندکس کرده است را نیز مجدد پایش می‌کند.

اینکار به منظور پیدا کردن اطلاعات جدید در صفحات است و بسیار اهمیت دارد.

به فرایند جستجو و یافتن اطلاعات جدید اصطالحا خزش گفته میشود. گوگل میگوید ربات‌هایی دارد که میان صفحات وب میخزند و اطلاعات را بروزرسانی میکنند.

نحوه شناسایی صفحات وب سایت توسط گوگل

اما منابع گوگل بی نهایت نیست، حتی ابر کامپیوترهای گوگل نیز با محدودیت روبرو هستند.

بنابراین گوگل نمیتواند همه وب سایت ها را به سرعت بررسی و صفحات جدید آن ها را به دیتابیس خود اضافه و یا صفحات ایندکس شده را بروزرسانی کند.

درنتیجه ما با محدودیت خزش روبرو هستیم.مسئله ای که بخاطر آن گوگل تصمیم گرفته برای هر سایت سهمیه مشخصی را در نظر بگیرد و در دنیای سئو نیز چیزی به نام بودجه یا سهمیه خزش پدیدار شده.

 در مسئله بودجه یا سهمیه خزش با چند مبحث روبرو هستیم

  1. خزش ( عمل بررسی صفحات وب توسط خزنده‌های گوگل)
  2. ربات ( الگوریتمی که عمل خزش را شکل میدهد)
  3. ایندکس کردن (اضافه کردن یک صفحه به دیتابیس گوگل)
  4. سهمیه خزش ( سرعت اضافه شدن صفحات وب سایت شما به دیتا بیس گوگل)

اگر سهمیه خزش یک وب سایت بالا باشد، سرعت ایندکس شدن صفحات آن نیز سریعتر است. مثلا صفحات سایت های خبری بسیار سریع توسط ربات‌های گوگل شناسایی و در دیتابیس گوگل ذخیره میشوند.

همچنین سیاست‌های کلی گوگل نیز در این امر تاثیر گذار است، سایت های خبری ، نسبت به سایر سایتها در حالتی که همه چیز برابر باشد، از سهمیه خزش بیشتری برخودارهستند. چرا که خبر باید همیشه تازه باشد.

بله وقتی شما مطلبی را در گوگل جستجو میکنید، گوگل صفحات مورد نظر شما را از درون دیتابیس خود بیرون میکشد و به شما نشان میدهد نه از میان صفحات وب آن هم بصورت آنی و زنده.

 برای همین است که وقتی شما مطلبی را جستجو میکنید، در کسری از ثانیه با میلیون‌ها نتیجه روبرو میشوید. سرعت گوگل در این کار برگه برنده او نسبت به سایر موتورهای جستجو است.

به 2 دلیل گوگل صفحات را خزش میکند

  1. اگر قرار بود همه این مطالب در همان لحظه از میان میلیون‌ها وب سایت انتخاب بشوند، این کار ساعت‌ها طول میکشید. چرا که خود این عمل برای حتی یک ابر کامپیوتر بسیار زمان بر است.
  2.  تشخیص کیفیت این صفحات و رتبه بندی آن ها از 1 تا 100 ، که رسالت اصلی آن گوگل و هر موتور جستجوی دیگری هست، در یک لحظه امکان پذیر نیست.

 فرایند رتبه بندی صفحات بسیار پیچیده و زمانبر است. بنابرین گوگل از پیش صفحات را ذخیره میکند، سپس آنها را زیر نظر الگوریتم های تشخیص کیفیت و رتبه بندی خود میبرد و درنهایت تصمیم میگیرد که صفحات  با چه ترتیبی در نتیجه جستجو قراربگیرند.

البته  آنچیزی که گوگل به شما نمایش میدهد فقط اطلاعات کلی از صفحات است، در واقع گوگل اطلاعات کلی مثل نشانی این صفحات، موضوع آن صفحات، توضیحات مختصر هر صفحه و… را در نتیجه جستجو به شما نشان میدهد. گوگل همه یک صفحه را در خود ذخیره نمیکند.

بگذارید یک مثال بزنیم :

فرض کنید شما مسئول یک کتابخانه بسیار بزرگ هستید با میلیاردها کتاب، شخصی به شما مراجعه میکند و میگوید کتاب ” کیمیاگر” را میخواهد. شما از قبل لیستی آماده کرده اید، یک کتاب بزرگ. همه صفحات این کتاب یک جدول دارند که ردیف هایی مثل نام، توضیح کوتاه، تعداد صفحات، شماره سالن، شماره ردیف ،  شماره قفسه و .. از سرتیترهای این جدول هستند، این جدول به ترتیب حروف الفبا مرتب شده است. شما به سرعت به سراغ حرف “ک” میروید، بعد حرف ی و م  و درنهایت در کمتر از چندثانیه به کتاب مورد نظر میرسید و یکراست به سراغ آن میروید.

هربارکه کتابی به کتابخانه اضافه میشود شما این لیست را به روز میکنید. ممکن است تعداد انتشار کتاب های داستانی بیشتر باشد، شما شاید تصمیم بگیرید جای بیشتری برای این کتاب های در نظر بگیرید.

حال که متوجه شدیم که گوگل چگونه کار میکند و خزش یعنی چه به سراغ مبحث سهمیه خزش میرویم.

حال که درک کردیم خزش چیست و گوگل چگونه کار میکند، به سراغ مسئله اصلی یعنی بودجه یا سهمیه خزش میریم.

بودجه یا سهمیه خزش چیست ؟

شاید الان شما نیز بتوانید تعریف خوبی از سهمیه خزش ارائه بدهید، سهمیه خزش، سهم وب سایت شما از بودجه گوگل برای جستجو و کاوش صفحات وب در یک بازه زمانی مشخص است. این اصطلاح با نام Crawl Budget  شناخته میشود. در اینجا شما را دعوت میکنیم این دو مطلب را که یکی از سایت خارجی و دیگری از سایت فارسی ، که درباره سهمیه خزش هستند را مطالعه کنید.

سایت فارسی درباره سهمیه خزش | سایت خارجی درباره سهمیه خزش

همانطور که گفتیم سهمیه خزش هر وب سایتی میتواند متفاوت باشد. اما گوگل چگونه سهمیه خزش سایت های مختلف را تعیین میکند و این مسئله چه تاثیری روی سئو سایت‌ها خواهد داشت ؟

از نظر ما میزان بروزرسانی های وب سایت و تولید صفحات جدید یکی از مهمترین عوامل در افزایش یا کاهش سهمیه خزش است.

هرچه میزان تولید صفحات جدید و بروزرسانی بیشتر باشد، سهمیه خزش نیز بیشتر میشود.

دلیل این امر واضح است، گوگل میخواهد مطالب تازه منتشر شده آن سایت را ایندکس نماید. البته تولید مطالب بی ارزش و آبکی، مثل تف سربالا است و ممکن است نتیجه برعکس بگیرید.

به سه سایت زیر نگاه کنید، هرکدام سهمیه خزش متفاوتی دارند. سایت اول بالاترین و سایت سوم کمترین سهمیه خزش را دارد.

سایت اول بیشترین بروزرسانی و سایت سوم کمترین بروزرسانی و تولید صفحات جدید را نیز دارد.

فواید سهمیه خزش بالا

ما فهمیدیم که خزش چیه، سهمیه خزش چیه و ایندکس کردن یعنی چی. اما فایده اینکه یک سایت سهمیه خزش بالایی داشته باشه چیه ؟

  1. مجبور نیستید برای هر مطلب جداگانه درخواست ایندکس شدن بدهید
  2. سایت شما از نظر گوگل سایت بروز به حساب می آید. بنابراین شما در مبحث content freshness گوگل، خوب عمل خواهید کرد.

اگر ما مطلب یا محصول را به سایت شماره 1 در مثال بالا اضافه کنیم، نهایتاً تا 12 ساعت دیگر در نتایج گوگل قابل رویت است، اما برای سایت شماره 3، این زمان ممکن است به 10 روز نیز برسد.

هرچند ما میتوانیم بصورت دستی و با استفاده از گوگل سرچ کنسول،درخواست ایندکس شدن یک مطلب را به گوگل بدهیم، ولی داشتن سهمیه خزش خوب و در نتیجه ایندکس شدن فوری صفحه میتواند مزایای زیر را داشته باشد.

چطوری بفهمیم سهمیه خزش سایتمون چقدره ؟

میتونید از طریق سرچ کنسول و قسمت تنظیمات و سپس قسمت open report  طبق عکس زیر این کار را بکنید.

چطوری بودجه یا سهمیه خزش سایت را افزایش دهیم ؟

  1. سرعت سایت را افزایش بدهید

ربات گوگل منتظر لود شدن صفحه نمی ماند، درست مثل وقتی که شما صفحی ای را باز میکنید ولی دیر باز میشود و تصمیم میگیرید که ببندیدش، ربات گوگل نیز همین کار را میکند.

  • مطالب تکراری را کم کنید

گوگل دوست ندارد منابع خود را صرف صفحاتی کند که محتوای یکسانی دارند.  علاوه براین وقتی شما میتوانید از ربات گوگل برای اینکس یه محصول جدید استفاده کنید، چرا از اون برای ایندکس یه صفحه تکراری استفاده کنید ؟

  • لینک سازی داخلی

ربات گوگل وقتی وارد سایت شما میشه شروع میکنه از بالا یک صفحه تا پایین اون را اسکن کنه، لینک های توی صفحات، مثل یک در عمل میکنند، ربات گوگل از طریق این لینکها وارد صفحات جدید میشه و اون ها را هم ایندکس میکنه. عکس زیر را نگاه کنید :

  • تولید محتوای زمان بندی شده

به نظر ما مهمترین عامل افزایش سهمیه خزش تولید محتوا بصورت زمان بندی شده و مداوم است. نه اینکه در یک برهه صدها صفحه تولید کنید و برای 1 سال هیچ مطلب یا محصولی به سایت خود اضافه نکنید.

  • از بین بردن ریدایرکت‌های تاریخ مصرف گذشته

لینک هایی که ریدایرکت میشوند باعث بهم زدم مسیر خزنده گوگل می‌شوند.

  • دسته بندی لینک های سایت

لینک های سایت را به 3 دسته زیر تقسیم کنید:

  • غیرقابل ایندکس با استفاده از no index
  • قابل ایندکس
  • کپی از لینک دیگر

اینگونه شما مجبور نیستید لینک ها و صفحاتی که ارزشی ندارند را به شبکه تو در توی لینک های خود جهت شناسایی شدن توسط گوگل داشته باشید و بودجه خزش را هدر دهید.

چندتا مثال از صفحات کم اهمیت:

  • ووکامرسی میتواند برای هر ویژگی صدها لینک ایجاد کند، مثلا  ویژگی ضخامت در فروشگاه لپتاپ (ممکن است به چندین محصول الصاق شده باشد) ، بنابراین شما ممکن است لینک های بیهوده زیادی تولید کنید که ارزش سئو کردن همه نداشته باشند.
  • لینک هایی که ممکن است توسط بعضی از ویژگی های ووکارس یا پلاگین های دیگه ایجاد بشه. مثلا وقتی کاربر از فیلتر فروشگاه استفاده میکنه ممکنه یکسری لینک تولید کنه و گوگل فکر کنه اینها باید ایندکس بشه.
  • یا اگه از فهرست مطلب استفاده میکنید، ممکنه یه سری لینک تولید بشه که ضرورتی برای ایندکس شدن ندارند.
  • آرشیوهای بی اهمیت.
  • تهیه سایت مپ تمیز

نقشه سایت را تمیز بچینید، مثلا توی یه فروشگاه وردپرسی برای فروش لپ تاپ ما میتونیم یه سایت مپ این شکلی داشته باشیم.

نمونه یک سایت مپ خوب و تمیز
مطالب مرتبط
نویسنده مطلب
رسول قجاوند
رسول قجاوند
سلام دوست عزیز،وردپرس به من شانس داشتن یه زندگی بهتر و آینده روشنتر داده،با یادگرفتن وردپرس و سئو تونستم زندگی بهتری داشته باشم و تصمیم گرفتم دیگران هم این را تجربه کنند، خوشحالم که خط‌اول را برای یادگرفتن انتخاب کردی. نظر یادتون نره !
رسول قجاوند
رسول قجاوند
سلام دوست عزیز،وردپرس به من شانس داشتن یه زندگی بهتر و آینده روشنتر داده،با یادگرفتن وردپرس و سئو تونستم زندگی بهتری داشته باشم و تصمیم گرفتم دیگران هم این را تجربه کنند، خوشحالم که خط‌اول را برای یادگرفتن انتخاب کردی. نظر یادتون نره !
هیچ کامنتی ثبت نشده، اولین کامنت باشید !

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

4 × یک =

مسیرهای ارتباطی