Размещаемый в корневой директории веб-сайта файл, в котором содержатся инструкции касательно действий поисковых роботов в процессе индексации. Это может быть запрет занесения в индекс как отдельных страниц, разделов, категорий, так и всего сайта в целом.

Кроме того, имеется возможность указания разных рекомендаций по индексации для роботов отдельных поисковиков. Для этого необходимо в обязательном поле User-agent вписать название бота, которого касается следующее за ним указание.

Далее должна присутствовать директива Disallow, в которой указывается адрес веб-ресурса, индексация которого запрещается. Если адрес не указывать и оставить Disallow пустой, это воспринимается как разрешение индексации всего веб-сайта (если не имеется альтернативных указаний).

Также в этом файле может прописываться:

  • адрес месторасположения Карты сайта, что дает возможность поисковыми ботам быстро ознакомиться со структурой посещаемого ими веб-ресурса (robots.txt – первое, что они ищут при визите на сайт);
  • URL сайта, который является главным зеркалом (при их наличии).

Запрет индексации через robots.txt может пригодиться для сокрытия страниц, которые еще не готовы к публикации, содержат служебную информацию или дублированный контент.