Что такое робот ПС

Спайдер, паук, spider, бот, поисковый робот – программный скрипт-агент, который осуществляет индексацию содержимого страничек веб-ресурсов, о которых поисковой системе уже известно, а также поиск тех, которые еще не попали в ее кэш.

После того как поисковику становится известно о существовании определенного сайта, робот начинает регулярно наносить ему визиты с целью обнаружения и занесения в индекс новых опубликованных материалов, а также изменений в ранее проиндексированных.

Вебмастер может запретить поисковым роботам индексировать отдельные страницы или сайт в целом с помощью прописывания соответствующих директив в файле robots.txt.

Ближайшее мероприятие с участием лично Павла Шульги
21 (Чт) ноября в 19:00 Киев / 20:00 МСК

Бесплатный мастер-класс
"8 приёмов по web-аналитике чтобы увеличить прибыль и уменьшить затраты"
Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 31 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%