Что такое bot

Сокращенная версия слова «robot», используемая в интернет-среде для обозначения программных продуктов, которые используются поисковыми системами для индексации содержимого веб-сайтов.

Часто используемые синонимы: паук, spider, www-бот, поисковый робот.

Действия ботов по отношению к сайту регламентируются настройками файла robots.txt.

Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 21 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%