Автоматический скрипт (программа) браузерного типа, который используется поисковой системой для сканирования (индексации) содержимого веб-страниц известных ей сайтов и занесения их в свой кэш.

Альтернативные названия: поисковый робот, паук, краулер, спайдер, бот.

Для того чтобы начать продвижение сайта в поисковиках необходимо привлечь внимание их роботов. В теории они и сами могут «набрести» на доселе неизвестный им веб-ресурс (например, через обратную ссылку на стороннем сайте). Но для ускорения этого процесса лучше сообщить им о появлении в сети нового веб-сайта и необходимости его индексации с помощью функции «Add URL», доступной как в Яндекс.Вебмастере так и в Google Search Console.

Поисковые боты регулярно совершают обходы уже проиндексированных веб-страниц с целью выявления изменения в их содержимом и занесения в БД поисковиков обновленных данных – более актуальных, чем те, которые уже находятся в них.

Управлять деятельностью спайдеров в пределах веб-сайта (разрешать/запрещать индексацию отдельных элементов) можно с помощью специальных инструкций, прописываемых в файле robots.txt.