Павло Шульга
зміст:
- Мета-тег robots допоможе знайти спільну мову з пошуковими роботами
- Як скористатися можливостями мета-тега robots
- Особливості використання мета-тега robots
- Навіщо потрібен мета-тег robots, якщо є файл robots.txt?
Мета-тег robots допоможе знайти спільну мову з пошуковими роботами
Навіть не знаючи, навіщо потрібен мета-тег robots, тільки виходячи з його назви, вже можна зробити висновки про те, що він має якесь відношення до роботам пошукових систем. І це дійсно так.
Впровадження мета-тега robots в код веб-сторінки дає можливість вказати пошуковим ботам свої побажання з приводу індексування її вмісту і посилань, розташованих на ній.
Це може стати в нагоді в багатьох ситуаціях. Наприклад, при наявності на сайті дублювання контенту або для запобігання передачі ваги сторінок за посиланнями, розташованими на них.
Як скористатися можливостями мета-тега robots
Сторінка, до якої потрібно застосувати бажані умови індексування, повинна містити всередині тега < head > свого html-коду правильно оформлений мета-тег robots.
Структура його досить проста:
Щоб він був правильно сприйнятий ботами пошукових систем, в даній конструкції вміст атрибута content ( ‘ ’ хххххххх ’ ’ ) має складатися з однієї або декількох ( через кому ) стандартних директив:
- index / noindex – вказує на необхідність індексації / ігнорування вмісту сторінки.
- follow / nofollow – аналізувати / ігнорувати посилання в межах веб-сторінки.
- all / none – індексувати / ігнорувати сторінку повністю.
- noimageindex – заборона індексації присутніх на сторінці зображень.
- noarchive – заборона на висновок в результатах пошуку посилання « Збережена копія », яка дає можливість переглядати збережену в кеші пошуковика копію сторінки ( навіть якщо вона тимчасово недоступна або видалена з сайту ).
- nosnippet – заборона на висновок в пошуковій видачі під назвою сторінки фрагмента тексту ( сніппета ), що описує її зміст.
- noodp – директива, яка повідомляє Google-боту про заборону використання в якості сніппету сторінки, опису з каталогу Open Directory Project ( він же DMOZ ).
Особливості використання мета-тега robots
Деякі підтримуваний цим мета-тегом комбінації директив взаємозамінні ( тотожні ). Наприклад, якщо потрібно заборонити індексування вмісту сторінки і всіх посилань на ній, можна використовувати в мета-тезі robots ‘ ’ noindex, nofollow ’ ’ або ж директиву ‘ ’ none ’ ’.
У зворотному випадку, коли потрібно індексувати все ( в параметрі content мета-тега robots – ‘ ’ index, follow ’ ’ або ‘ ’ all ’ ’ ) <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1> <TAG1>, з'являється ще й третій варіант – взагалі не впроваджувати цей тег в код сторінки.
Бувають і приватні випадки, в яких вказівки з приводу індексування потрібно повідомити тільки роботу якої-небудь однієї пошукової системи. Для цього потрібно замість ‘ ’ robots ’ ’ вказати ім'я бота, якого стосуються містяться в мета-тезі директиви. Наприклад, якщо Google повинен внести в свій індекс вміст сторінки, але при цьому не аналізувати посилання на ній:
Важливо, щоб у вмісті атрибута content не було повторень або присутності суперечать один одному директив, оскільки в цьому випадку мета-тег може бути проігнорований пошуковим ботом.
Ще один момент, на грунті якого досить часто сперечаються веб-майстри – регістр, в якому прописується вміст мета-тега. Одні вважають, що правильно використовувати тільки прописні, інші – тільки малі. Але насправді прийнятні обидва варіанти, оскільки мета-тег нечутливий до регістру.
Навіщо потрібен мета-тег robots, якщо є файл robots.txt?
Так, дійсно на перший погляд може здатися, що застосування цього мета-тега надає ті ж можливості, що і настройка файлу robots.txt. Але кілька відмінностей все ж є. І вони цілком можуть бути причинами, щоб віддати перевагу використанню мета-тега:
- Мета-тег robots використовується для більш тонкої настройки індексації – можна закрити контент, але залишити відкритими посилання ( в параметрі content мета-тега robots – ‘ ’ noindex, follow ’ ’ ) і навпаки. У robots.txt такої можливості немає.
- У ситуаціях, коли немає можливості отримати доступ до кореневої директорії веб-сайту, редагувати robots.txt не представляється можливим. Ось тоді-то і приходить на допомогу однойменний мета-тег.
- У robots.txt можна закрити від індексації цілий каталог, щоб заборонити доступ ботів до всіх, що містяться в ньому сторінок, тоді як мета-тег доведеться використовувати для кожної з них. Виходить, що в такому випадку зручніше зробити настройки в файлі. Але якщо деякі сторінки всередині каталогу все ж потрібно залишити відкритими, зручніше використовувати мета-тег.
Для управління індексацією сторінок веб-сайту допустимо одночасно використовувати мета-тег robots і файл robots.txt. Вони можуть відповідати за вказівки пошуковим ботам з приводу різних веб-сторінок або ж дублювати команди один одного.
А ось якщо в них будуть присутні суперечать директиви з приводу одних і тих же сторінок, роботи пошукових систем прийматимуть не завжди вірне рішення – за замовчуванням вибирається більш суворе вказівку. Виходить, що сторінки ( або посилання на них ), з приводу яких між robots.txt і мета-тегом robots є розбіжності, індексуватися не будуть.
Можливість управління індексацією веб-сайту – дуже корисний інструмент для SEO-просування. Головне, навчитися правильно визначати, в якій ситуації ефективніше використовувати той чи інший з тепер відомих Вам способів.
