Краулинговый бюджет: что это такое и как его оптимизировать

Краулинговый бюджет представляет собой конкретный лимит, выделяемый каждому сайту на сканирование роботом его страниц, их индексирования для формирования поисковой выдачи. Он рассчитывается для каждого веб-проекта в отдельности, исходя из доступности сервера и его спроса у пользователей.

Краулинговый бюджет сайта не является фактором ранжирования, поэтому его величина никак не сказывается на позициях интернет-площадки в поисковой выдаче. Это исключительно технический параметр, оказывающий влияние на скорость индексирования нового содержимого на ресурсе. Важно знать, что если у вашего сайта имеется отдельная мобильная версия или несколько языковых версий hreflang на поддомене, ускоренные мобильные страницы AMP, то совокупный краулинговый бюджет будет расходоваться и на них.

Кому и зачем нужно уметь управлять краулинговым бюджетом

Если вы владелец небольшого веб-ресурса, то вам это делать не нужно. Краулинговый бюджет требуется учитывать для эффективного продвижения сайта, если он включает в себя большое число периодически обновляемых страниц (от 1000). Иначе может случиться так, что какая-то часть вашего веб-ресурса не проиндексируется роботами и будет исключена из поисковой выдачи Google.

Зачем оптимизировать бюджет на индексацию

Это делается для того, чтобы не растратить краулинговый бюджет попусту. Без оптимизирования краулингового бюджета появятся проблемы с индексацией всего веб-ресурса: если у поискового бота на конкретной странице сайта иссякнет бюджет, то остальные страницы он просто не увидит.

Где посмотреть краулинговый бюджет

Вся история про лимит индексации завязана на Google, поэтому самый удобный метод — ознакомиться со статистикой обхода в Google Search Console.

Для этого откройте меню «Настройки», а затем кликните по ссылке «Открыть отчет» в графе «Статистика сканирования».

Графики со статистическими данными появятся в новом окошке. Среди них для вас важен будет первый — «Всего запросов на сканирование».

Ниже можно ознакомиться с информацией, которая касается распределения запросов на сканирование (по типу, по типу файла, по цели, по типу робота Googlebot).

Статистика сканирования — не постоянная величина. Данный показатель может изменяться в ту или иную сторону, но как приблизительный индикатор очень полезен.

Как оптимизировать краулинговый бюджет

Краулинг — это индексация, поэтому весь лимит быстро тратится именно из-за ошибок индексации. В рамках SEO-продвижения сайта их нужно исправлять. Итак, рекомендации по оптимизации краулингового бюджета таковы:

• Заблокируйте или удалите в файле sitemap.xml дубли и ненужные ссылки (с ошибками сканирования и редиректами). Периодическая проверка и удаление устаревших, пустых и «мусорных» страниц сайта, а также ликвидация дублей облегчат вашу работу как SEO-специалиста и собственника ресурса, вместе с тем избавив поисковых роботов «Гугла» от необходимости сканировать не несущие никакой полезной информации странички и затрачивать на них краулинговый бюджет.
• Укажите в файле robots.txt last-modified для тех страниц, контент которых не изменился с последнего индексирования.
• Улучшите скорость загрузки страниц сайта. Чем быстрее будет загружаться ваш сайт, тем скорее его просканирует поисковый робот: в рамках одинакового числа соединений бот сумеет проанализировать большее число страниц. Для поиска «мёртвых» гиперссылок используйте спец плагины, сервисы или программы, например, бесплатную программу Netpeak Spider или онлайн-сервис SE Rankins, с помощью которых вы сможете быстро отыскать битые ссылки, в последующем удалив их с вашего ресурса.
• Правильно выполните перелинковку. А конкретно: используйте разнообразные и уникальные анкоры с ключевиками и добавляйте ссылки на тематические странички.
• Оптимизируйте редиректы. Удостоверьтесь, что имеющиеся редиректы вашему ресурсу действительно требуются.
• Нарастите внешнюю ссылочную массу вашей интернет-площадки. Чем больше будет ссылок, тем чаще поисковый робот будет заглядывать на ваш ресурс.
• Используйте динамический рендеринг. Это относительно новая разработка компании «Гугл», которая создаёт для поискового бота HTML-версию вашей площадки, а для посетителей — вариант вашего ресурса на языке JavaScript. Динамический рендеринг облегчит и ускорит индексацию.
• Позаботьтесь о правильной структуре сайта. Чем важнее страница, тем выше по уровню вложенности её нужно расположить. Продуманная структура сайта облегчит задачу не только поисковым ботам, но и посетителям вашего ресурса, что в свою очередь положительно скажется на поведенческих факторах, благодаря которым поисковые системы могут делать выводы о качестве сайта.

Итог

Исходя из вышеизложенного можно сделать вывод, что имея возможность, мы должны влиять на процесс взаимодействия собственного ресурса с поисковыми системами, так как оптимизация краулингового бюджета оказывает положительное влияние на его продвижение и индексацию.

Понравилась статья? Угостите админа шаурмой и кофе.

Отправить