Обзор программы Screaming Frog SEO Spider - инструкция по работе

В статье речь пойдёт об уже не новой и неплохо зарекомендовавшей себя программе, позволяющей проводить качественный многосторонний аудит сайта. Несмотря на популярность на западе, далеко не все seo-специалисты и тем более владельцы сайтов знают, как пользоваться Screaming Frog SEO Spider и на какие вопросы она даёт ответы. Мы решили заполнить этот пробел и опубликовать небольшую инструкцию к SEO Frog Screaming и рассказать, как с ней работать.

Содержание:

Получить бесплатную консультацию от специалиста по вашему проекту

Общая информация о программе Screaming Frog

Сервис для аудита сайта Скриминг Фрог расскажет практически всё о ресурсе, плюс к этому, помогает в работе, например, может сгенерировать файл Sitemap. Программа была создана британским программистом, на протяжении нескольких лет занимавшимся SEO-оптимизацией сайтов. Возможно, именно благодаря большому опыту SEO-специалиста, удалось создать такой целостный и полезный продукт.

Screaming Frog устанавливается на компьютер и анализирует ресурсы, используя собственный сервер пользователя. В зависимости от ваших предпочтений можно выбрать ограниченную бесплатную версию, которая позволяет проанализировать до 500 страниц сайта, или полноценную платную версию.

Помимо ограничения количества сканируемых страниц сайта, бесплатная версия Скриминг Фрог отличается набором доступных функций. Её можно использовать в качестве теста программы, но для полноценного аудита сайта лучше все же приобрести годовую лицензию. Учитывая, что от большинства сервисов для анализа, которыми приходилось пользоваться ранее и которые не обладают таким широким функционалом, можно отказаться, в итоге вы ещё сэкономите.

Программа имеет только англоязычную версию, но здесь всё очень просто и понятно, поэтому разобраться с инструментами сервиса будет несложно.

Начало работы в Screaming Frog SEO Spider: инструкция по заполнению данных

Собственно, здесь всё просто. Чтобы добавить сайт для запуска сбора данных, необходимо ввести адрес сайта в специально отведённое для этого поле и нажать на кнопку Start. Программа автоматически подгрузит всю информацию и разложить её по полочкам, то есть по вкладкам, для удобного изучения.

Если требуется просканировать отдельные папки/страницы сайта, то в меню программы Screaming Frog необходимо перейти на вкладку Configurations > Include и перечислить их.

И наоборот, если нужно исключить определённые разделы при формировании данных для анализа ресурса, переходим в раздел Configurations > Exclude. Здесь Вы можете указать конкретные URL, исключить папки, страницы и файлы, которые содержат определенные слова или символы.

Рассмотрим еще несколько базовых настроек парсинга в программе Screaming Frog SEO Spider:

Если вы хотите ускорить процесс парсинга сайта или просто нет необходимости анализировать определённые типы файлов, в разделе Configurations > Spider > Crawl можете исключить их.
Аналогично, если нужно проанализировать только определенные параметры страниц, например, Title, Description и H1, то во вкладке Extraction можно включить их, а ненужное - исключить.
Во вкладке Limit в настройке Limit Crawl Depth можно указать ограничения по глубине парсинга в зависимости от уровня вложенности страниц.
Чтобы парсер программы Screaming Frog анализировал информацию также, как и роботы поисковых систем, во вкладке Advanced установите галочки напротив полей Respect Noindex и Respect NoFollow. К тому же это сократит время анализа ресурса.
Во вкладке Preferences вы можете указать желаемые параметры для Title, Description и других сканируемых элементов.
Если сайт пока закрыт от индексации, чтобы краулер программы Скриминг Фрог мог провести анализ, необходимо во вкладке Configurations > Robots.txt > Settings выбрать опцию «Ignore robots.txt».

Теперь давайте познакомимся с основным функционалом Screaming Frog и узнаем, как можно пользоваться представленной сервисом информацией.

Базовые функции Screaming Frog SEO Spider

Главные инструменты анализа сайта разложены по разделам сервиса, представленными отдельными вкладками. По ним и пройдёмся.

Вкладка Internal

Здесь представлена информация о внутренних ссылках ресурса. В зависимости от настроек данные по страницам можно отсортировать по алфавиту или в порядке очерёдности в соответствии с вложенностью страниц, начиная от главной страницы сайта.

Чтобы изучить подробную информацию о каждой странице, необходимо кликнуть по её адресу в результатах анализа. Здесь будут представлены данные о весе страницы, коде ответа сервера, количеству слов, графических объектах, заголовках, мета-тегах, сниппете, ссылках – внутренних и внешних, а также другая информация, которая поможет оценить, все ли данные на месте и не нужно ли их скорректировать.

Вкладка External

Знакомит с информацией о внешних ссылках. Данные этой вкладки позволяют проанализировать ссылки, которые направляют с собственного ресурса на сторонний сайт. Здесь же есть информация о кодировках, типах ссылок, месте расположения страницы, содержащих внешние ссылки и прочие данные.

Если у основного домена есть поддомены и они не учтены в настройках, то ссылки на них Screaming Frog будет воспринимать как внешние. Чтобы такого не произошло, рекомендуем в меню Configuration заранее отметить пункт Crawl All Subdomains. В этом случае система будет учитывать поддоменты как часть основного ресурса.

Вкладка Protocol

Здесь вы сможете увидеть отдельно страницы с протоколом http и https. Если сайт находится на https, а анализ программы Screaming Frog показал страницы с http, проверьте их код ответа сервера (Status Code должен быть 301) и отсутствие ссылок на них во вкладке Inlinks.

Получить бесплатную консультацию от SEO-эксперта по вашему сайту

Вкладка Response Codes

Вкладка, посвящённая кодам ответа сервера. Вверху страницы можно установить фильтр, в зависимости от класса состояния ответа сервера и других параметров. Например, можно проверить:

какие страницы заблокированы в файле robots.txt - Blocked by robots.txt;
по каким нет никакого ответа - No response;
какие автоматически перенаправляют на другие страницы - Redirection (3xx);
какие отдают ошибки на стороне клиента - Client Error (4XX);
и на стороне сервера - Server Error (5XX).

Проведя анализ предоставленной информации, можно найти ошибки в кодах и исправить их или удалить те ссылки, которые приводят на несуществующие страницы.

Вкладка URL

Если необходимо узнать о страницах, с которыми что-то не так, идём в эту вкладку и смотрим, какие страницы Screaming Frog подозревает в наличии ошибок. Проверка указанных страниц может здорово упростить жизнь оптимизатора. Список проблемных страниц могут пополнить те, у которых:

некорректный URL;
динамический адрес;
есть дубликат и т. д.

Вкладки Page Titles, Meta Description

Посвящены мета-тегам сайта, здесь собрана информация о Title и Description страниц, в написании которых допущены ошибки. Наиболее важной является информация о мета-тегах:

совпадающих с заголовками H1;
неуникальных (дублирующихся на разных страницах);
слишком коротких или чрезмерно длинных;
их отсутствии и т. д.

Всё это ошибки, которые требуют корректировки.

Вкладки H1 и H2

Демонстрируют все данные, связанные с заголовками на каждой странице сайта. Как и в случае с мета-тегами, здесь можно увидеть допущенные нарушения в написании этих элементов сайта и своевременно внести необходимые изменения.

Вкладка Images

В этом разделе анализа программы Screaming Frog SEO Spider представлены данные обо всех используемых на ресурсе изображениях. Очень полезная информация для оптимизации сайта, благодаря которой можно обнаружить неоправданно «тяжёлые» объекты, снизить «вес» ресурса и ускорить его загрузку.

Вкладка Canonical

Здесь прописаны канонические ссылки (тег rel="canonical"), которые устраняют проблемы при размещении одного и того же контента на разных страницах. Их анализ позволит найти ошибки, такие как: несколько атрибутов rel=canonical на одной странице, канонической указана закрытая от индексации страница и т.д.

Дополнительные популярные возможности Screaming Frog

Наиболее часто используемая функция Screaming Frog, которая позволяет получить данные, предоставленные сервисом, в удобной и привычной форме — выгрузка в отдельный Excel-файл. Для этого необходимо нажать на кнопку Export, которая имеется на каждом экране сервиса.

Очень удобно и просто создавать файл Sitemap.xml, необходимый для повышения эффективности процесса сканирования сайта ботами поисковых систем. В Screaming Frog существует раздел Sitemap, в котором можно создать данный файл.

Выводы

Тестируя Screaming Frog SEO Spider, наши специалисты отметили, что это очень удобный, понятный и полезный инструмент для аудита и оптимизации сайта, который точно стоит внимания SEO-специалистов и владельцев любых сайтов. Большое количество важной информации, представленной в удобном для восприятия формате, и простой интерфейс делают программу отличным решением для оптимизаторов, как опытных, так и начинающих. Рекомендуем попробовать скачать тестовую версию на пробу и протестировать основные возможности сервиса.

А какие инструменты вы используете для аудита сайта?