Спайдер, паук, spider, бот, поисковый робот – программный скрипт-агент, который осуществляет индексацию содержимого страничек веб-ресурсов, о которых поисковой системе уже известно, а также поиск тех, которые еще не попали в ее кэш.

После того как поисковику становится известно о существовании определенного сайта, робот начинает регулярно наносить ему визиты с целью обнаружения и занесения в индекс новых опубликованных материалов, а также изменений в ранее проиндексированных.

Вебмастер может запретить поисковым роботам индексировать отдельные страницы или сайт в целом с помощью прописывания соответствующих директив в файле robots.txt.