Краулинговый бюджет: что это и как его оптимизировать

Содержание:

Получить бесплатную консультацию от специалиста по вашему проекту

Определение и особенности краулингового бюджета

Про краулинг сайта известно, что это процесс считывания, также называемого сканированием, страниц ресурса пауками поисковиков с целью сбора информации для последующей индексации. В этой связи seo-специалисты оперируют двумя похожими взаимосвязанными терминами — краулинговый бюджет и краулинговый спрос. Познакомимся с определениями этих понятий и различиями между ними.

Краулинговым спросом называется число страниц веб-ресурса, включенных в своеобразный «список планов» поисковых роботов по сканированию с целью дальнейшей индексации.

Краулинговый бюджет — это максимальное число страниц ресурса, со сканированием которых боты поисковика способны справиться за конкретный отрезок времени.

Пожалуй, главная особенность любого бюджета — его ограниченность. Краулинговый бюджет не является исключением. Его необходимо учитывать для эффективного продвижения ресурса, если сайт имеет большое количество регулярно обновляющихся страниц (от 1000). Ведь усилия seo-специалиста и затраты владельца на его работу не принесут должного результата, если доступный краулинговый бюджет сайта не позволяет проиндексировать добрую половину важных оптимизированных страниц.

Влияние на оптимизацию краулингового бюджета собственного сайта

Информацию о текущем краулинговом бюджете легко посмотреть, например, в Google Search Console, проверив среднее количество просканированных ботами страниц за день во вкладке «Статистика сканирования».

Обновление сайта, наполнение его страниц интересным и полезным контентом, полностью раскрывающим тему, актуализация ранее размещенных статей, качественный визуальный контент — всё это повышает лояльность пользователей и популярность ресурса. В результате поисковые системы отмечают сайт как полезный и влияют на его более активное продвижение, в том числе с помощью дополнительного краулингового бюджета. Смысл такой симпатии со стороны поисковиков вполне понятен и оправдан: чем лучше сайт, тем больше внимания он заслуживает и тем больше возможностей следует ему предоставлять для общей пользы юзеров.

Рассмотрим основные и самые эффективные методы, позволяющие оптимизировать ресурс. Они положительно влияют на факторы, увеличивающие краулинговый бюджет, а также помогают настроить взаимодействие с поисковыми ботами, а, следовательно, получить большую выгоду.

Ускорение загрузки страниц ресурса

«Долгий» сайт не только заставляет пользователей искать конкурентные предложения, но и замедляет сканирование URL поисковыми ботами. Для улучшения скорости загрузки сайта следует:

отдать предпочтение качественному хостингу;
выполнить настройку кэширования;
оптимизировать размер графических элементов сайта и т.д.

Устранение битых ссылок

Ссылки, приводящие к несуществующим страницам или документам, в результате чего может выскакивать ошибка 404, способны отпугнуть пользователей. Вместе с тем они негативно влияют на поведенческие факторы и мешают нормальной работе поисковых ботов. При этом в пустоту выбрасывается краулинговый бюджет.

Для поиска битых ссылок рекомендуем использовать специальные плагины, программы или сервисы. Например, программу Netpeak Spider. С её помощью можно быстро и совершенно бесплатно найти «мёртвые» гиперссылки и в последующем удалить их с сайта.

Получить бесплатную консультацию от SEO-эксперта по вашему сайту

Продуманная структура сайта

План размещения страниц сайта влияет на частоту (или полное отсутствие) их сканирования. Чем важнее страница, тем выше по уровню вложенности её необходимо располагать. «Умная» структура сайта помогает не только роботам, но и пользователям сайта, что в свою очередь благоприятно сказывается и на росте числа URL, которые боты готовы просканировать в заданный отрезок времени.

Настройка файлов robots.txt и sitemap

О том, зачем и как правильно настроить sitemap.xml и robots.txt мы подробно рассказывали ранее. Тщательная и грамотная проработка этих файлов важна и для целей оптимизации расхода краулингаового бюджета веб-сайта. Роботы Google и Яндекса далеко не всегда четко следуют нашим указаниям, но часто ориентируются именно на них. Поэтому своевременное закрытие «лишних» страниц позволит исключить их из списка сканирования, а открытие важных URL поможет роботам не пройти мимо.

Отказ от цепочек редиректов

Редиректы автоматически переадресуют пользователей на другой URL, а вместе с пользователями на другую страницу перемещается и краулер (поисковый скан-бот), расходуя немалую часть краулингового бюджета ресурса. Кроме того, слишком длинные цепочки вообще могут привести к тому, что робот не дойдёт до конечного URL. Во избежание всех этих неприятностей следует чистить ресурс от больших цепочек редиректов.

Проверить наличие цепочек редиректов можно также с помощью программы Netpeak Spider.

«Чистка» сайта

Регулярная проверка и удаление пустых, устаревших и «мусорных» страниц, а также избавление от дублей упростят жизнь сео-специалиста и владельца сайта, вместе с тем избавят ботов поисковиков от необходимости сканирования бесполезных некачественных страниц и траты на них краулингового бюджета.

Грамотная перелинковка между страницами

На небольших ресурсах проблем с перелинковкой обычно не возникает: связать 20-50 страниц между собой по смыслу не так сложно. Но для оптимизаторов крупных сайтов с несколькими сотнями и даже тысячами страниц в этом процессе могут возникнуть серьезные трудности, которые в итоге превращаются в неудобство для пользователей и, собственно, нецелевой расход краулингового бюджета.

Выводы

Итак, мы имеем возможность, а, значит, должны влиять на процесс взаимодействия собственного ресурса с поисковыми системами. Для этого существуют различные приемы, правильное применение которых помогает успешно контактировать с поисковыми роботами, превращая «общение» с ними в собственную выгоду. Используя все возможности, чтобы повлиять на рост краулингового бюджета сайта и добиться его оптимального расходования, можно положительно повлиять на индексацию и продвижение ресурса.

Узнайте еще больше фишек о продвижении собственного сайта на курс Поисковик . А с промо-кодом «Сrawling-07-10» Вы получите дополнительный бонус на него.