گوگل الگوریتم های پیچیده ای دارد که سرعت خزیدن را برای یک سایت مشخص می کند. هدف گوگل این است که صفحات زیادی از سایت شما را با یک بازید مورد خزش قرار دهد، به طوری که در هر بازدید بدون مصرف بالای پهنای باند سرور شما این کار را انجام دهد.

اگر گوگل در هر ثانیه به سایت شما درخواست ارسال می کند و پهنای باند سرور شما را کاهش داده است، می توانید میزان خزیدن را برای هر یک از دامنه و یا زیر دامنه ها کاهش دهید، مثلا www.example.comو http://subdomain.example.com

نرخ خزیدنی که شما تعیین می کنید، حداکثر میزان خزیدنی است که Googlebot باید انجام دهد. توجه داشته باشید که این مقدار تضمین نمی کند که Googlebot به این حداکثر سرعت برسد.

گوگل توصیه می کند که سرعت خزیدن را در حالت پیشفرض آن قرار دهید، مگر اینکه شما مشکلات سرور را در اثر خزش ربات های گوگل مشاهده کنید.

شما نمی توانید میزان خزش را برای مسیر هایی از سایت که در سطح ریشه نیستند تغییر دهید، مثلا www.example.com/folder

برای محدود کردن میزان خزیدن:

1. در صفحه اصلی کنسول جستجو، روی سایت موردنظر کلیک کنید.
2. بر روی نماد چرخ دنده  کلیک کنید، سپس روی تنظیمات سایت کلیک کنید .
3. در بخش Rate Crawl گزینه مورد نظر را انتخاب کنید و سپس میزان خزیدن را به صورت دلخواه محدود کنید.

نرخ خزیدن جدید برای ۹۰ روز معتبر خواهد بود.

اگر نرخ خزیدن شما به عنوان «بهینه شده» در صفحه تنظیمات سایت محاسبه شده است، تنها راه کاهش میزان خزیدن، ارسال یک درخواست خاص است . شما نمیتوانید میزان خزیدن را افزایش دهید.