Один из вариантов названия автоматизированных программ браузерного типа (роботов) поисковых систем, занимающихся занесением сайтов в их БД (индексированием).

В переводе с англ. «crawler» – «гусеница».

Также часто используются обозначения: бот, спайдер, паук, spider, краулер, муравей, ant и др.

В «обязанности» краулеров входит обнаружение новых неизвестных поисковику веб-сайтов с последующим внесением их информационного содержимого в кэш поисковика для участия в поисковых выдачах. Также боты занимаются регулярными посещениями сайтов, уже находящихся в базе данных (БД) поисковой системы, для обнаружения изменений на их страницах и занесения в кэш обновленных данных.

Новым сайтам, которые еще ни разу не индексировались краулерами, необходимо привлечь их внимание для того, чтобы начать продвижение в поисковиках. Для этого обычно достаточно разместить несколько обратных ссылок на ресурсах, уже находящихся в индексе, или сообщить поисковику о новом сайте с помощью функции «AddUrl».