Краулінговий бюджет: що це і як його оптимізувати

зміст:

Отримати безкоштовну консультацію від фахівця з вашого проекту

Визначення та особливості краулінгового бюджету

Про краулінг сайту відомо, що це процес зчитування, також званого скануванням, сторінок ресурсу павуками пошукових систем з метою збору інформації для подальшої індексації. У зв'язку з цим seo-фахівці оперують двома схожими взаємопов'язаними термінами — краулінговий бюджет і краулінговий попит. Познайомимося з визначеннями цих понять і відмінностями між ними.

Краулінговим попитом називається число сторінок веб-ресурсу, включених в своєрідний « список планів » пошукових роботів по скануванню з метою подальшої індексації.

Краулінговий бюджет — це максимальне число сторінок ресурсу, зі скануванням яких боти пошуковика здатні впоратися за конкретний відрізок часу.

Мабуть, головна особливість будь-якого бюджету — його обмеженість. Краулінговий бюджет не є винятком. Його необхідно враховувати для ефективного просування ресурсу, якщо сайт має велику кількість регулярно оновлюються сторінок ( від 1000 ). Адже зусилля seo-фахівця і витрати власника на його роботу не принесуть належного результату, якщо доступний краулінговий бюджет сайту не дозволяє проіндексувати добру половину важливих оптимізованих сторінок.

Вплив на оптимізацію краулінгового бюджету власного сайту

Інформацію про поточний краулінговому бюджеті легко подивитися, наприклад, в Google Search Console, перевіривши середня кількість просканувати ботами сторінок за день у вкладці « Статистика сканування ».

Оновлення сайту, наповнення його сторінок цікавим і корисним контентом, повністю розкриває тему, актуалізація раніше розміщених статей, Якісний візуальний контент — все це підвищує лояльність користувачів і популярність ресурсу. В результаті пошукові системи відзначають сайт як корисний і впливають на його більш активне просування, в тому числі за допомогою додаткового краулінгового бюджету. Сенс такої симпатії з боку пошукових систем цілком зрозумілий і виправданий: чим краще сайт, тим більше уваги він заслуговує і тим більше можливостей слід йому надавати для загальної користі користувачів.

Розглянемо основні і найефективніші методи, що дозволяють оптимізувати ресурс. Вони позитивно впливають на фактори, що збільшують краулінговий бюджет, а також допомагають налаштувати взаємодію з пошуковими ботами, а, отже, отримати велику вигоду.

Прискорення завантаження сторінок ресурсу

« Довгий » сайт не тільки змушує користувачів шукати конкурентні пропозиції, але і уповільнює сканування URL пошуковими ботами. Для поліпшення швидкості завантаження сайту слід:

віддати перевагу якісному хостингу;
виконати настройку кешування;
оптимізувати розмір графічних елементів сайту і т.д.

Усунення битих посилань

Посилання, що призводять до неіснуючих сторінок або документів, в результаті чого може вискакувати помилка 404, здатні відлякати користувачів. Разом з тим вони негативно впливають на поведінкові фактори і заважають нормальній роботі пошукових ботів. При цьому в порожнечу викидається краулінговий бюджет.

Для пошуку битих посилань рекомендуємо використовувати спеціальні плагіни, програми або сервіси. наприклад, програму Netpeak Spider. З її допомогою можна швидко і абсолютно безкоштовно знайти « мертві » гіперпосилання і в подальшому видалити їх з сайту.

Отримати безкоштовну консультацію від фахівця з вашого проекту

Продумана структура сайту

План розміщення сторінок сайту впливає на частоту ( або повна відсутність ) їх сканування. Чим важливіше сторінка, тим вище по рівню вкладеності її необхідно розташовувати. « Розумна » структура сайту допомагає не тільки роботам, а й користувачам сайту, що в свою чергу сприятливо позначається і на зростанні числа URL, які боти готові просканувати в заданий відрізок часу.

Налаштування файлів robots.txt і sitemap

Про те, навіщо і як правильно налаштувати sitemap.xml і robots.txt ми детально розповідали раніше. Ретельна і грамотна опрацювання цих файлів важлива і для цілей оптимізації витрат краулінгаового бюджету веб-сайту. Роботи Google і Яндекса далеко не завжди чітко дотримуються наших вказівок, але часто орієнтуються саме на них. Тому своєчасне закриття « зайвих » сторінок дозволить виключити їх зі списку сканування, а відкриття важливих URL допоможе роботам не пройти повз.

Відмова від ланцюжків редиректів

Редиректи автоматично переадресують користувачів на інший URL, а разом з користувачами на іншу сторінку переміщається і краулер ( пошуковий скан-бот ), витрачаючи чималу частину краулінгового бюджету ресурсу. Крім того, занадто довгі ланцюжки взагалі можуть привести до того, що робот не дійде до кінцевого URL. Щоб уникнути всіх цих неприємностей слід чистити ресурс від великих ланцюжків редиректів.

Перевірити наявність ланцюжків редиректів можна також за допомогою програми Netpeak Spider.

« Чистка » сайту

Регулярна перевірка і видалення порожніх, застарілих і « сміттєвих » сторінок, а також позбавлення від дублів спростять життя сео-фахівця і власника сайту, разом з тим позбавлять ботів пошукових систем від необхідності сканування непотрібних неякісних сторінок і витрати на них краулінгового бюджету.

Грамотна перелінковка між сторінками

На невеликих ресурсах проблем з перелінковкой зазвичай не виникає: зв'язати 20-50 сторінок між собою за змістом не так складно. Але для оптимізаторів великих сайтів з декількома сотнями і навіть тисячами сторінок в цьому процесі можуть виникнути серйозні труднощі, які в підсумку перетворюються в незручність для користувачів і, власне, нецільової витрата краулінгового бюджету.

висновки

Отже, ми маємо можливість, а, значить, повинні впливати на процес взаємодії власного ресурсу з пошуковими системами. Для цього існують різні прийоми, правильне застосування яких допомагає успішно контактувати з пошуковими роботами, перетворюючи « спілкування » з ними в власну вигоду. Використовуючи всі можливості, щоб вплинути на зростання краулінгового бюджету сайту і домогтися його оптимального витрачання, можна позитивно вплинути на індексацію і просування ресурсу.

Дізнайтеся ще більше фішок про просування власного сайту на курс Пошуковик . А з промо-кодом « Сrawling-07-10 » Ви отримаєте додатковий бонус на нього.