Краулінговий бюджет — умовна назва обсягу ресурсів, які пошуковий робот готовий витрачати на сканування конкретного сайту. Для невеликих ресурсів це зазвичай не проблема, але на великих сайтах зайві URL можуть відволікати роботів від важливих сторінок.
Оптимізація потрібна не для того, щоб «змусити Google сканувати більше», а щоб не витрачати сканування на нескінченні параметри, дублікати, ланцюжки редиректів і технічне сміття.
Кому важливий краулінговий бюджет
Більшість невеликих блогів і корпоративних сайтів не мають окремо оптимізувати бюджет сканування. Проблема актуальніша для великих магазинів, маркетплейсів, сайтів із сотнями тисяч URL та ресурсів із фасетною навігацією.
Навіщо його оптимізувати
Якщо робот витрачає багато запитів на дублікати й непотрібні сторінки, новий або оновлений контент може скануватися повільніше.
Де подивитися статистику сканування
У Google Search Console відкрийте налаштування ресурсу та звіт статистики сканування. Там можна побачити кількість запитів, середній час відповіді, типи файлів і коди статусів.
Як оптимізувати краулінговий бюджет
- Приберіть нескінченні URL. Контролюйте фільтри, сортування, календарі й параметри.
- Виправте биті посилання. Не змушуйте робота постійно переходити на 404.
- Скоротіть ланцюжки редиректів. Внутрішні посилання мають вести одразу на кінцеву URL.
- Використовуйте правильні canonical.
- Підтримуйте XML sitemap. Додавайте лише канонічні URL, які потрібно індексувати.
- Покращуйте швидкість і стабільність сервера.
- Покращуйте перелінковку. Важливі сторінки повинні бути доступними за логічними переходами.
Також зверніть увагу на рівень вкладеності та внутрішню перелінковку.
Підсумок
Краулінговий бюджет важливий насамперед для великих сайтів. Основний спосіб оптимізації — чиста архітектура без нескінченних дублів, помилкових редиректів і технічного сміття, а також швидкий і стабільний сервер.
