Что такое робот ПС

Спайдер, паук, spider, бот, поисковый робот – программный скрипт-агент, который осуществляет индексацию содержимого страничек веб-ресурсов, о которых поисковой системе уже известно, а также поиск тех, которые еще не попали в ее кэш.

После того как поисковику становится известно о существовании определенного сайта, робот начинает регулярно наносить ему визиты с целью обнаружения и занесения в индекс новых опубликованных материалов, а также изменений в ранее проиндексированных.

Вебмастер может запретить поисковым роботам индексировать отдельные страницы или сайт в целом с помощью прописывания соответствующих директив в файле robots.txt.

Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 21 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%