Розміщується в кореневої директорії веб-сайту файл, в якому містяться інструкції щодо дій пошукових роботів в процесі індексації. Це може бути заборона занесення в індекс як окремих сторінок, розділів, Категорія, так і всього сайту в цілому.

Крім того, є можливість вказівки різних рекомендацій по індексації для роботів окремих пошуковиків. Для цього необхідно в обов'язковому полі User-agent вписати назву бота, Якого стосується наступне за ним вказівку.

Далі має бути присутня директива Disallow, в якій вказується адреса веб-ресурсу, індексація якого забороняється. Якщо адреса не вказувати і залишити Disallow порожній, це сприймається як дозвіл індексації всього веб-сайту ( якщо немає альтернативних вказівок ).

Також в цьому файлі може прописуватися:

  • адреса місця розташування карти сайту, Що дає можливість пошуковими ботами швидко ознайомитися зі структурою відвідуваного ними веб-ресурсу ( robots.txt – перше, що вони шукають при візиті на сайт );
  • URL сайту, який є головним дзеркалом ( при їх наявності ).

Заборона індексації через robots.txt може стати в нагоді для приховування сторінок, які ще не готові до публікації, містять службову інформацію або дубльований контент.