Он же – поисковый робот, краулер, вебспайдер, бот.

Программа браузерного типа (автоматический скрипт), отвечающая за индексирование (обработку и занесение в БД) содержимого страниц веб-ресурсов, о существовании которых известно поисковой системе.

Также в обязанности «паука» входит периодическое посещение ранее проиндексированных ресурсов для обнаружения изменений в их содержимом и внесении обновленных данных в кэш поисковика.

Поиск новых веб-сайтов, которые недавно появились в сети, происходит путем перехода поискового бота по ссылкам, размещенным на известных ему сайтах.

Если «молодой» сайт не имеет внешней ссылочной массы и поисковые роботы обходят его стороной, их внимание можно привлечь, используя «аддурилку» – функцию «Add URL», которая имеется у всех поисковиков.

На самом деле у любой поисковой системы есть несколько видов ботов, у каждого из которых имеются свои отдельные обязанности. Например, на Google, кроме основного робота (Googlebot), также «работают» несколько его коллег, занимающиеся более узкоспециализированной деятельностью – индексированием новостей, видеофайлов, изображений, сайтов для мобильных устройств и тех, которые являются участниками рекламных сетей AdSense.

Для управления активностью поисковых ботов в пределах отдельно взятого веб-сайта используется файл robots.txt, в котором прописываются рекомендательные директивы для них.