Одна из стандартных директив, которые используются в robots.txt для указания веб-мастером рекомендаций поисковым ботам относительно их поведения в процессе индексации веб-сайта (запрет/разрешение касательно всего сайта или отдельных разделов, страниц).

Директива User-agent используется для указания имени бота, к которому относится следующая за ней рекомендация в поле Disallow и/или Host. Если последующие инструкции касаются всех без исключения ботов, вместо имен используется символ «звездочка» (*).