Что такое robots.txt

Размещаемый в корневой директории веб-сайта файл, в котором содержатся инструкции касательно действий поисковых роботов в процессе индексации. Это может быть запрет занесения в индекс как отдельных страниц, разделов, категорий, так и всего сайта в целом.

Кроме того, имеется возможность указания разных рекомендаций по индексации для роботов отдельных поисковиков. Для этого необходимо в обязательном поле User-agent вписать название бота, которого касается следующее за ним указание.

Далее должна присутствовать директива Disallow, в которой указывается адрес веб-ресурса, индексация которого запрещается. Если адрес не указывать и оставить Disallow пустой, это воспринимается как разрешение индексации всего веб-сайта (если не имеется альтернативных указаний).

Также в этом файле может прописываться:

  • адрес месторасположения Карты сайта, что дает возможность поисковыми ботам быстро ознакомиться со структурой посещаемого ими веб-ресурса (robots.txt – первое, что они ищут при визите на сайт);
  • URL сайта, который является главным зеркалом (при их наличии).

Запрет индексации через robots.txt может пригодиться для сокрытия страниц, которые еще не готовы к публикации, содержат служебную информацию или дублированный контент.

Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 21 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%