зміст:

Отримати безкоштовну консультацію від фахівця з вашого проекту

Правильний robots.txt і його важливість

Хочете дізнатися як закрити сайт від індексації пошуковими системами, коли Ви в цьому не потребуєте?

Виявляється, це не так вже й складно. Буде потрібно лише правильний robots.txt, розміщений в кореневій папці Вашого веб-ресурсу.

Ну а тепер по порядку. 

robots.txt – текстовий файл, в якому пропонуються рекомендації для дій роботів пошукових систем. Саме його вони насамперед шукають, ледь « переступивши поріг » Вашого веб-ресурсу. Якщо його немає або він присутній, але не містить в собі ніякої інформації, пошукові боти сприймають це як дозвіл « прогулятися » по всьому сайту без будь-яких обмежень.

І навпаки, якщо в ньому прописані певні інструкції щодо заборони індексації, пошукові роботи будуть намагатися їх дотримуватися.

Отримати безкоштовну консультацію від фахівця з вашого проекту

Принцип дії і настройка robots.txt

Правильний robots.txt містить в своєму тілі запису, кожна з яких починається з рядка, в якій вказується клієнтську програму User-agent. У ньому прописується назва робота, до якого відносяться інструкції в наступному рядку / рядках.

Якщо ж інструкція відноситься до всіх павуків-індексаторів, замість імені використовується символ « зірочка »:


 
Далі прописується рядок з директивою Disallow і кілька спец. символів, які вибираються в залежності від мети інструкції.

Закрити сайт від індексації? Немає нічого простішого!

Власне кажучи, основна функція robots – заборонити індексацію. Чого саме? Тут вже Вам вибирати. Варіантів існує більш ніж достатньо:

  1. Повністю заборонити індексацію сайту. Мається на увазі можливість відмовити прийшов « в гості » роботу заходити на Ваш веб-ресурс і виконувати свою роботу. Може бути корисно на ранніх стадіях розробки сайту, коли публікація контенту вже почалася, але ще не доведена до потрібного рівня. В цьому випадку індексація неоптимізованих сторінок небажана, щоб « не зіпсувати » заздалегідь репутацію сайту.


     
  2. Закрити від індексації розділ / категоріям. Використовується в разі цілком чинного веб-ресурсу, що має певний рейтинг в очах пошукових систем, коли готується новий розділ або категорія, індексація яких поки що небажана. 


     
  3. Заборонити індексацію сторінки. Зручно використовувати в разі, якщо на сайті розміщені документи, які потрібні, але не повинні індексуватися і впливати на загальний рейтинг веб-ресурсу. Наприклад, це може бути « Політика конфіденційності », що складається з неунікального тексту.

Налаштування robots.txt. 10 важливих фішок

  1. Якщо в robots заборонити індексацію, то вона буде діяти за принципом старшинства. Тобто заборона поширюється на всі файли, сторінки і директорії, які підпорядковані зазначеному елементу.
     
  2. правильний robots.txt завжди містить мінімум один рядок User-agent, Щоб його приймали до відома.
     
  3. Можлива настройка robots.txt, при якій для одного бота може бути прописана запис, що складається відразу з декількох інструкцій.


     
  4. Символ « *» перед назвою допоможе заборонити індексацію всіх об'єктів з зазначеним словом.


     
  5. Символ « / » використовується як на початку, так і в кінці назви директорії. В іншому випадку robots може заборонити індексацію всіх сторінок, в імені яких зустрічається « slovo ». 


     
  6. Порожня директива Disallow дає роботу дозвіл індексувати всі сторінки веб-ресурсу.


     
  7. Бажано, щоб правильний robots.txt вказував, де знаходиться карта сайту. Це значно прискорить індексацію сторінок і виключить ймовірність випадкового пропуску роботом деяких з них. 


     
  8. Правильний robots.txt може містити інструкції, прописані тільки при використанні нижнього регістра.
     
  9. Будь-яка Disallow може вказувати тільки на один файл / розділ / сторінка і повинна прописуватися з нового рядка.
     
  10. Не можна прописувати спочатку Disallow, а потім User-agent. Подібна настройка robots.txt буде марною тратою часу, оскільки боти не зможуть зрозуміти таких інструкцій.

 
І найголовніше правило – перед тим, як залити правильний robots.txt в корінь веб-сайту, потрібно переконати в його правильності. Рекомендується перевіряти його на помилки кілька разів. А ще краще – дати перевірити кому-небудь іншому. Свіжому погляду простіше буде побачити помилки та інші неприємності в тілі файлу.

тільки вірна настройка robots.txt допоможе заборонити індексацію саме тих елементів Вашого сайту, які Ви поки що вирішили приховати від « зорого погляду » пошукових систем.

Залишилися питання? Задавайте! Чекаємо Вас в коментарях!