Содержание:
- Зачем использовать <noindex> и атрибут rel=«nofollow»
- Директива <noindex>. Значение и условия применения
- rel=«nofollow». Атрибут, который «работает» со всеми поисковиками
- Где еще используются noindex и nofollow
- Основные выводы
Зачем использовать noindex и атрибут rel="nofollow"
Невзирая на то, что мы упоминаем noindex и атрибут rel="nofollow" в пределах одной статьи, они являются совершенно разными элементами кода страниц сайта и соответственно используются для различных целей. Для каких именно, читайте далее по тексту.
Директива noindex. Значение и условия применения
Директива noindex указывает поисковому роботу, что страницу не нужно показывать в результатах поиска. Google поддерживает ее в мета-теге robots и HTTP-заголовке X-Robots-Tag. При этом нестандартный HTML-тег <noindex>, которым иногда оборачивают отдельные фрагменты текста, Google не поддерживает.
Пример использования директивы в разделе <head> страницы:
<meta name="robots" content="noindex">
Чтобы директива сработала, Google должен получить доступ к странице и увидеть ее в HTML-коде или HTTP-заголовке. Если одновременно запретить сканирование URL в robots.txt, поисковик может не обнаружить noindex, а адрес страницы при определенных условиях все равно может появиться в поиске.
Если нужно, чтобы не индексировалась ссылка, noindex не сможет помочь.
Например, директива noindex не позволяет выборочно закрыть от индексации только анкор «Курсы SEO», оставив всю остальную страницу в поиске. Для ограничения показа отдельного текстового фрагмента в сниппете Google предусмотрен атрибут data-nosnippet, но он не запрещает индексацию самого текста.
Кстати, довольно часто встречающаяся в сети конструкция rel="noindex" является ошибочной, поскольку Google не поддерживает такое значение атрибута rel для управления индексацией.
Вот несколько ситуаций, в которых директива noindex может быть полезна:
- Исключить из поиска служебные страницы, которые должны оставаться доступными посетителям.
- Закрыть от индексации внутренние страницы результатов поиска по сайту.
- Исключить отдельные страницы с малополезным или повторяющимся содержимым, если для них не подходит более корректное решение, например каноникализация или редирект.
Для PDF и других файлов без HTML-разметки директиву можно передавать через HTTP-заголовок:
X-Robots-Tag: noindex
Не путайте noindex с запретом сканирования в robots.txt: первый управляет присутствием страницы в поиске, второй — доступом робота к ее содержимому.
Получить бесплатную консультацию от SEO-эксперта по вашему сайту
rel="nofollow". Атрибут, который «работает» со всеми поисковиками
Для того чтобы дать роботу поисковика указание о том, что ссылку не следует рассматривать как обычную редакционную рекомендацию, существует атрибут тега <a> rel="nofollow". Он является стандартизированным элементом HTML-кода и поддерживается Google, хотя разные поисковые системы могут обрабатывать его по-разному.
Причем его использование не делает ссылку невидимой, а лишь указывает, что владелец сайта не хочет подтверждать доверие к целевой странице этой ссылкой. Для Google nofollow — подсказка, а не абсолютный запрет сканирования, учета ссылочного сигнала или индексации целевой страницы.
Пример использования:
<a href="https://example.com/" rel="nofollow">Пример ссылки</a>
Использование rel="nofollow" позволяет:
- Отметить ссылку на ресурс, который Вы не хотите рекомендовать поисковой системе.
- Указать, что ссылка размещена без подтверждения доверия к целевому сайту.
- Дополнительно квалифицировать ссылки, если их назначение не относится к рекламе или пользовательскому контенту.
- Обозначить ссылки в комментариях, хотя для пользовательского контента Google рекомендует более точное значение rel="ugc".
Для рекламных и оплаченных ссылок предпочтительно использовать rel="sponsored", а для ссылок в комментариях и на форумах — rel="ugc". При необходимости значения можно комбинировать, например rel="ugc nofollow".
С использованием атрибута rel="nofollow" важно не переусердствовать: не стоит массово добавлять его ко всем внутренним ссылкам ради перераспределения ссылочного веса. Такой подход не является надежным способом управления PageRank. Кроме того, nofollow не гарантирует, что целевой URL не будет найден и проиндексирован через другие ссылки или карту сайта.
Где еще используются noindex и nofollow
Также noindex и его постоянный спутник nofollow могут использоваться совершенно в ином виде – как значения атрибута content в составе мета-тега robots. Последний, в свою очередь, используется в HTML-коде страницы для указания поисковым ботам рекомендаций насчет индексации страничек и переходу по размещенным на них ссылкам.
<meta name="robots" content="noindex, nofollow">
Приведенный пример означает, что страницу не следует показывать в поиске, а ссылки на ней не следует обходить. При этом nofollow не гарантирует, что поисковик никогда не обнаружит эти URL другими способами. Наличие подобной конструкции в HTML-коде страниц может быть возможной причиной, по которой не индексируется сайт.
Важно различать nofollow в мета-теге robots и rel="nofollow" у конкретной ссылки. Первый относится ко всем ссылкам на странице, второй — только к той ссылке, у которой он указан.
Проверить наличие noindex можно в исходном HTML, HTTP-заголовках и инструменте проверки URL в Google Search Console. Для ограничения использования отдельных текстовых фрагментов в поисковых сниппетах можно применять data-nosnippet к поддерживаемым элементам HTML. Устаревшее значение noarchive Google больше не использует.
Основные выводы
Использование одного из вышеупомянутых элементов (или обоих сразу) зависит от задачи: исключить всю страницу из поиска, квалифицировать отдельную ссылку или ограничить переходы по ссылкам на странице.
Если нужно исключить страницу из индекса Google, используйте noindex в мета-теге robots или HTTP-заголовке X-Robots-Tag и не блокируйте доступ к ней в robots.txt. Если нужно отметить отдельную ссылку, используйте rel="nofollow", rel="ugc" или rel="sponsored" по назначению. Эти атрибуты не скрывают анкор и не запрещают индексацию целевой страницы.
Теперь, когда Вы разобрались с особенностями применения noindex и rel="nofollow", не забудьте поделиться этой важной информацией с теми, кто может в ней нуждаться!
Павел Шульга
Основатель и идейный лидер Академии SEO.Предприниматель, владелец 8-ми работающих бизнесов, создатель и спикер обучающих курсов Академии SEO. Практически всю свою осознанную жизнь занимается SEO-продвижением.
В 2004 году увлекся ...
