Что такое bot

Сокращенная версия слова «robot», используемая в интернет-среде для обозначения программных продуктов, которые используются поисковыми системами для индексации содержимого веб-сайтов.

Часто используемые синонимы: паук, spider, www-бот, поисковый робот.

Действия ботов по отношению к сайту регламентируются настройками файла robots.txt.

Ближайшее мероприятие с участием лично Павла Шульги
"КАК ПРОДВИНУТЬ СВОЙ САЙТ В ТОП GOOGLE И ЯНДЕКС"
Бесплатный онлайн мастер-класс уже 6 июля (понедельник)
Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 31 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%