Что такое bot

Сокращенная версия слова «robot», используемая в интернет-среде для обозначения программных продуктов, которые используются поисковыми системами для индексации содержимого веб-сайтов.

Часто используемые синонимы: паук, spider, www-бот, поисковый робот.

Действия ботов по отношению к сайту регламентируются настройками файла robots.txt.

Ближайшее мероприятие с участием лично Павла Шульги
21 (Чт) ноября в 19:00 Киев / 20:00 МСК

Бесплатный мастер-класс
"8 приёмов по web-аналитике чтобы увеличить прибыль и уменьшить затраты"
Бесплатный аудит
Вашего сайта в 1 клик
Введите ссылку на Ваш сайт и мы за 31 секунду проанализируем его на ошибки, изменив которые, Вы можете увеличить посещаемость сайта на 200 - 400%