зміст:

Отримати безкоштовну консультацію від фахівця з вашого проекту

Мета-тег robots допоможе знайти спільну мову з пошуковими роботами 

Навіть не знаючи, навіщо потрібен мета-тег robots, тільки виходячи з його назви, вже можна зробити висновки про те, що він має якесь відношення до роботам пошукових систем. І це дійсно так.

Впровадження мета-тега robots в код веб-сторінки дає можливість вказати пошуковим ботам свої побажання з приводу індексування її вмісту і посилань, розташованих на ній.

Це може стати в нагоді в багатьох ситуаціях. Наприклад, при наявності на сайті дублювання контенту або для запобігання передачі ваги сторінок за посиланнями, розташованими на них.

Отримати безкоштовну консультацію від фахівця з вашого проекту

Як скористатися можливостями мета-тега robots

Сторінка, до якої потрібно застосувати бажані умови індексування, повинна містити всередині тега < head > свого html-коду правильно оформлений мета-тег robots. 

Структура його досить проста:

Структура мета-тега robots
 
Щоб він був правильно сприйнятий ботами пошукових систем, в даній конструкції вміст атрибута content ( ‘ ’ хххххххх ’ ’ ) має складатися з однієї або декількох ( через кому ) стандартних директив:

  1. index / noindex – вказує на необхідність індексації / ігнорування вмісту сторінки.
     
  2. follow / nofollow – аналізувати / ігнорувати посилання в межах веб-сторінки.
     
  3. all / none – індексувати / ігнорувати сторінку повністю.
     
  4. noimageindex – заборона індексації присутніх на сторінці зображень.
     
  5. noarchive – заборона на висновок в результатах пошуку посилання « Збережена копія », яка дає можливість переглядати збережену в кеші пошуковика копію сторінки ( навіть якщо вона тимчасово недоступна або видалена з сайту ).
     
  6. nosnippet – заборона на висновок в пошуковій видачі під назвою сторінки фрагмента тексту ( сніппета ), що описує її зміст.
     
  7. noodp – директива, яка повідомляє Google-боту про заборону використання в якості сніппету сторінки, опису з каталогу Open Directory Project ( він же DMOZ ). 

Особливості використання мета-тега robots

Деякі підтримуваний цим мета-тегом комбінації директив взаємозамінні ( тотожні ). Наприклад, якщо потрібно заборонити індексування вмісту сторінки і всіх посилань на ній, можна використовувати в мета-тезі robots ‘ ’ noindex, nofollow ’ ’ або ж директиву ‘ ’ none ’ ’.

Варианты использования директив в мета-теге robots
 
У зворотному випадку, коли потрібно індексувати все ( в параметрі content мета-тега robots – ‘ ’ index, follow ’ ’ або ‘ ’ all ’ ’ ) <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1>, з'являється ще й третій варіант – взагалі не впроваджувати цей тег в код сторінки.

Мета-тег robots, что разрешает полную индексацию
 
Бувають і приватні випадки, в яких вказівки з приводу індексування потрібно повідомити тільки роботу якої-небудь однієї пошукової системи. Для цього потрібно замість ‘ ’ robots ’ ’ вказати ім'я бота, якого стосуються містяться в мета-тезі директиви. Наприклад, якщо Google повинен внести в свій індекс вміст сторінки, але при цьому не аналізувати посилання на ній:

Отдельные указания для GoogleBot
 
Важливо, щоб у вмісті атрибута content не було повторень або присутності суперечать один одному директив, оскільки в цьому випадку мета-тег може бути проігнорований пошуковим ботом.

Ще один момент, на грунті якого досить часто сперечаються веб-майстри – регістр, в якому прописується вміст мета-тега. Одні вважають, що правильно використовувати тільки прописні, інші – тільки малі. Але насправді прийнятні обидва варіанти, оскільки мета-тег нечутливий до регістру.

Навіщо потрібен мета-тег robots, якщо є файл robots.txt?

Так, дійсно на перший погляд може здатися, що застосування цього мета-тега надає ті ж можливості, що і настройка файлу robots.txt. Але кілька відмінностей все ж є. І вони цілком можуть бути причинами, щоб віддати перевагу використанню мета-тега:

  1. Мета-тег robots використовується для більш тонкої настройки індексації – можна закрити контент, але залишити відкритими посилання ( в параметрі content мета-тега robots – ‘ ’ noindex, follow ’ ’ ) і навпаки. У robots.txt такої можливості немає.

    Содержимое не индексировать, а контент да
     
  2. У ситуаціях, коли немає можливості отримати доступ до кореневої директорії веб-сайту, редагувати robots.txt не представляється можливим. Ось тоді-то і приходить на допомогу однойменний мета-тег. 
     
  3. У robots.txt можна закрити від індексації цілий каталог, щоб заборонити доступ ботів до всіх, що містяться в ньому сторінок, тоді як мета-тег доведеться використовувати для кожної з них. Виходить, що в такому випадку зручніше зробити настройки в файлі. Але якщо деякі сторінки всередині каталогу все ж потрібно залишити відкритими, зручніше використовувати мета-тег.

Для управління індексацією сторінок веб-сайту допустимо одночасно використовувати мета-тег robots і файл robots.txt. Вони можуть відповідати за вказівки пошуковим ботам з приводу різних веб-сторінок або ж дублювати команди один одного. 

А ось якщо в них будуть присутні суперечать директиви з приводу одних і тих же сторінок, роботи пошукових систем прийматимуть не завжди вірне рішення – за замовчуванням вибирається більш суворе вказівку. Виходить, що сторінки ( або посилання на них ), з приводу яких між robots.txt і мета-тегом robots є розбіжності, індексуватися не будуть.

Можливість управління індексацією веб-сайту – дуже корисний інструмент для SEO-просування.  Головне, навчитися правильно визначати, в якій ситуації ефективніше використовувати той чи інший з тепер відомих Вам способів.