Содержание:

Что такое роботы поисковых систем

Поисковый робот — это программный скрипт-агент поисковой системы, производящий сканирование страниц сайта и передающий индекс-данные для последующего формирования баз поиска. В процессе происходит так называемая индексация, на основе которой в результате формируется выдача поисковой системы в ответ на целевой запрос пользователя.

В профессиональной среде также можно встретить другие названия — поисковый бот, паук или spider, краулер. 

Получить бесплатную консультацию от SEO-эксперта по вашему сайту

Особенности работы поисковых ботов

Боты не осуществляют анализа полученной информации и не дают характеристику или оценку качеству сайта и его страниц. В их задачу входит только считывание данных и добавление их в существующую базу поисковой системы. Такая работа напоминает отлаженную деятельность курьера, производящего передвижения по строго заданному маршруту. 

Роботы поиска отличаются своим назначением — типом информации, с которой они работают. Например, обход изображений производят Googlebot-Image и YandexImages соответствующих систем, а поисковые роботы Googlebot-News и YandexNews — это краулеры новостного контента.

что такое робот поисковой системы картинка

Порядок индексации

Функционирование системы поиска в общих чертах состоит из трёх основных этапов:

  • Сканирование роботами
    Сканирование веб-ресурсов выполняется не стихийно. Действия пауков запрограммированы и выполняются в заданной системой последовательности. Распределение внимания, количество сканируемых страниц и скорость считывания данных зависят от многих показателей.
  • Индексация
    Также выполняется ботами. Собранные данные добавляются в базу поисковика.
  • Формирование выдачи ПС
    В результате индексации и анализа собранной роботами ПС информации подбираются релевантные запросу ссылки и распределяются в соответствии с алгоритмами ранжирования поисковой системы.

Управление индексацией

Взаимодействие вебмастеров с роботами поисковиков происходит посредством служебных файлов robots.txt и sitemap.xml. С их помощью и используя специальные системные команды оптимизатор имеет возможность открыть для индексации или скрыть от неё некоторые страницы. Стоит учитывать, что подобное общение носит исключительно рекомендательный характер, и пауки поисковиков могут игнорировать их частично или полностью. 

Повлиять на это можно также с помощью специальных инструментов, которые используют для ускорения сканирования и SEO-продвижения нового или изменённого контента. Например, в Яндексе можно использовать инструменты «Обход по счётчикам Метрики» или «Переход страниц» в Яндекс.Вебмастере.