Что такое user-agent

Одна из стандартных директив, которые используются в robots.txt для указания веб-мастером рекомендаций поисковым ботам относительно их поведения в процессе индексации веб-сайта (запрет/разрешение касательно всего сайта или отдельных разделов, страниц).

Директива User-agent используется для указания имени бота, к которому относится следующая за ней рекомендация в поле Disallow и/или Host. Если последующие инструкции касаются всех без исключения ботов, вместо имен используется символ «звездочка» (*).

Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 21 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%