автоматичний скрипт ( програма ) браузерного типу, який використовується пошуковою системою для сканування (індексації) вмісту веб-сторінок відомих їй сайтів і занесення їх в свій кеш.

Альтернативні назви: пошуковий робот, павук, краулер, Спайдер, бот.

Для того щоб почати просування сайту в пошукових системах необхідно привернути увагу їх роботів. У теорії вони і самі можуть « набрести » на досі невідомий їм веб-ресурс ( наприклад, через зворотне посилання на сторонньому сайті ). Але для прискорення цього процесу краще повідомити їм про появу в мережі нового веб-сайту і необхідності його індексації за допомогою функції «Add URL», доступною як в Яндекс.Вебмастере так і в Google Search Console.

Пошукові боти регулярно здійснюють обходи вже проіндексованих веб-сторінок з метою виявлення зміни в їх вмісті і занесення в БД пошукових систем оновлених даних – більш актуальних, ніж ті, які вже знаходяться в них.

Керувати діяльністю спайдерів в межах веб-сайту ( вирішувати / забороняти індексацію окремих елементів ) можна за допомогою спеціальних інструкцій, що прописуються в файлі robots.txt.