Одна зі стандартних директив, які використовуються в robots.txt для вказівки веб-майстром рекомендацій пошуковим ботам щодо їх поведінки в процесі індексації веб-сайту ( замкнений / дозвіл щодо всього сайту або окремих розділів, Сторінок ).

Директива User-agent використовується для вказівки імені бота, до якого відноситься наступна за нею рекомендація в поле Disallow і / або Host. Якщо наступні інструкції стосуються всіх без винятку ботів, замість імен використовується символ « зірочка » ( *).