Как пользоваться Screaming Frog SEO Spider

В последнее время я очень часто начал пользоваться неплохо зарекомендовавшей себя программой для проведения аудита сайта —  Screaming from SEO spider. Программа позволяет проверять бесплатно сайты до 500 ссылок, все что дальше платное. Но этого на самом деле, чаще всего хватает.

Потому в статье пойдет речь о том, как пользоваться программой, какие возможности выполняет программа и в целом на какие параметры стоит обращать внимание. Для начала хочу оговорится, что программа имеет лишь английскую версию, но тем не менее с ней можно легко разобраться.

Преимущества программы Screaming frog SEO spider

  • Поиск дубликатов, а также страниц с короткими и продублированными мета тегами.
  • Поиск страниц с продублированными H1, а также тех страниц где H1 отсутствуют.
  • Отображение информации, по мета-тегам, которые управляют роботами поисковых систем.
  • Отображение времени загрузки страниц.
  • Поиск изображений с указанием размеров, и мета данных.
  • Визуализация структуры сайта и отображение вложенности страниц.
  • Сканирование как всего сайта, так и вручную заданного списка страниц;
  • Поддержка Google Api (Analytics и Search Console);
  • Возможность генерации файла sitemap.xml с расширенными настройками;
  • Возможность подключения Proxy;
  • Сканирование сайтов, требующих авторизацию;

Недостатки программы Screaming frog SEO spider

  • Сложность первичного освоения интерфейса
  • Отсутствие русского языка в программе
  • Неудобная выгрузка исходящих ссылок пациента
  • При сканировании программа хранит данные в оперативной памяти из-за этого возникают проблемы при сканировании сайтов более 250 000 страниц

Начало работы в Screaming frog SEO spider

Да сразу программу освоить сложно, это правда, но на самом деле она не так сложна, как кажется на первый взгляд. Чтобы добавить сайт для запуска сбора данных достаточно ввести доменное имя сайта в поле поиска ну и нажать на старт.

Немного ниже я даже заскринил как это делается:

Начало работы с программой screaming frog

После чего программа начинает искать все доступные страницы и выводить какую-то информацию и вот тут очень важно понимать, что это за информация! Если ты уже проделал ввод сайта, то заметил, что программа имеет много всяких вкладок, которые фильтруют всю информацию по просканированному тобой сайту.

Дополнительные возможности в screaming frog

Каждая эта вкладка выводит определенный отфильтрованный список, который поможет найти проблему на сайте если есть такая. Потому я решил пробежаться по всем фильтрам, и описать что это такое и для чего он.

Фильтры программы Screaming Frog SEO Spider

Internal – внутренние ссылки. Выводит практически всю информацию о вашей странице.

External – внешние ссылки. Выводит все внешние ссылки, которые используются на сайте. Так можно определить есть у тебя на сайте спам ссылки ну и на какой странице они находятся.

Protocol – Здесь ты можешь увидеть, как твои страницы реагируют на поисковые системы. Индексируются или нет, если нет, то почему, допустим если робот заблокировал, то так можно узнать, как он заблокировал, а также канонические страницы – то как они выводятся на сайте.

Response Codes – возвращаемые коды. Каждая страница всегда возвращает какой-то заголовок. Если все хорошо, то заголовок равен 200, если же страница не рабочая, то мы получаем код 404. Так кстати можно найти и битые ссылки на сайте.

Кроме того, в поле Response Time можно получить информацию о том, как долго отвечал сервер для отображения данных на странице.

Url – по URL можно получить всю информацию о ссылке. Допустим если ссылка имеет какие-то специальные знаки или допустим это русские знаки, значит мы получим эту информацию в виде удобной таблице.

Page Titles – вся информация по заголовкам страницы. Сам заголовок, ну и количество символов. Даже не знаю зачем количество пикселей, которое занимает этот заголовок.

Meta Description – мета описание, аналогично заголовкам страницы выводит в таком же ключе и описание. То сколько символом было использовано ну и не совсем мне ясно зачем количество использованных пикселов на это количество текста.

Meta Keywords – ключевые слова. Сегодня их уже поисковые системы как говорят не используют, но я всегда использую правило «Если не навредит, значит лишним не будет!».

H1 – Выводит все заголовки H1 использованные на странице. Очень полезный инструмент так как, на сколько я знаю, множество сеошников рекомендуют использовать один H1 на страницу. Если вдруг их будет два и больше, то с помощью этой программы ты узнаешь. Я кстати пока пишу эту статью нашел и у себя одну статью где было два H1.

Круто, так как исправил ошибку.

H2 – Аналогично с H1, только все теги H2. К этим тегам не таких требований какие есть у предыдущего тега, но тем не менее проверять каких и сколько тегов есть на странице дело не лишнее. Возможно есть возможность поправить проблему если считаешь нужным.

Images – Выводит информацию о картинках. Например, я заметил, что на сайте вставляю очень мало alt в картинки. На текущий момент значение равно более 90. Поправлю в ближайшее время.

Pagination – Выводит страницы которые являют собой пагинацию. У меня к примеру, на сайте не так много страниц, потому пока это значение равно нулю. Кстати, если вдруг ты знаешь, что у тебя есть пагинация, а эта программа не видит ее, то проблему нужно исправить.

Это если по-хорошему.

Canonicals – канонические страницы. Я считаю, что указание канонической страницы является очень важным фактором. Если поисковая система видит дубликат каким-то образом на сайте, значит ей нужно понимать какая страница более приоритетная.

А вот эта вкладка показывает собственно где такая этот мета тег указан, а где нет. Очень полезно как по мне.

Directives – обозначает мета теги, которые позволяют управлять роботами типа rel=’robots’. Канонические ссылки включены в этот список.

Hreflang – если у тебя на сайте несколько языков, обязательно нужно сказать поисковой системе какой язык сейчас является по умолчанию ну и конечно же какие еще есть и по каким ссылкам они доступны.

В этой вкладке мы можем получить дополнительную информацию на этот счет.

Ajax – Определяет страницы с использованием Ajax. То есть те где контент подгружается после погрузки страницы. На самом деле этим фильтром я никогда не пользуюсь и не считаю его полезным, разве что в некоторых случаях.

Да и на моем блоге нет таких страниц где используется Ajax.

AMP – если вы используете в своем сайте AMP страницы, то получить дополнительную информацию по ним можно во вкладке AMP.
Я, например, не пользуюсь этой технологией потому не получаю никакой информации в эту вкладку.

Structured Data – структурированные данные или как еще говорят «микроразметка» очень полезная вещь. Она указывает поисковой системе что являет собой определенный блок на сайте. Где заголовок, кто автор, краткое описание страницы и так дальше. Все это сделано для того, чтобы помочь поисковой системе максимально определить релевантность страницы.

Я лично использую такую разметку и тебе рекомендую. А вот в программе можно получить информацию по ошибкам к микроразметке. Если есть какие-то ошибки в самой разметке или предупреждения, то программа это покажет.

Sitemaps – отображает страницы которые находятся в карте сайта. Статус страницы ну и индексируется ли эта страница.

PageSpeed – фильтр будет работать если подключить API от Google. Я сказать честно не подключал эту штуку. По факту первый год бесплатно, а дальше нужно платить. В целом крутое решение так как можно проверить все страницы разом и увидеть какие из них более проблемные.

Analytics и Search Console – оба можно подключить к Google и получать оттуда данные. Я подключал, но на самом деле важно информации как таковой там не увидел.

В целом есть некоторые фильтры, с которыми я и не разбирался, да и не особо интересны они, по крайней мере для меня, вот список Link Metrics, Custom Search, Custom Extraction.

Дополнительная информация в Screaming Frog SEO spider?

Конечно всю информацию вместить в одну таблицу не так-то и просто, а в некоторых случаях таблицы получаются очень и очень огромными и не всегда показывают ту картину, которую нам нужно увидеть.

Разработчики в целом молодцы, ведь они попытались максимально разделить фильтры еще дополнительными фильтрами и колонками.

Фильтры программы Screaming Frog SEO Spider детальная информация

В целом все очень удобно и понятно. Главное смотреть на те поля, чего по вашему мнению не хватает или оно является лишним. Кстати, советую так же глянуть мои 28 советов по SEO, которые выдвинут твой сайт в топ.

Создание карты сайта

Если вдруг твой сайт не умеет создавать карту сайта, то очень важно понимать, что ее можно создать вручную. Чаще всего бывает полезно в тех случаях, если проект не имеет никакой серверной части, а все странички на него пишутся вручную.

Казалось бы, сегодня такого не делают, ведь существует настолько огромное количество движков причем бесплатных. Но на самом деле когда нужен простой лэндинг, который дает людям дополнительную какую-то информацию.

Так что создание карты сайта вручную будет очень даже не лишним делом. Чтобы создать такую, в программе Screamin Frog SEO spider выбираем в верхнем меню Sitemaps

Генерация xml sitemap

Производим настройку – по факту там уже все сделано за тебя, достаточно лишь нажать на кнопку «Next». Ну и сохраняем нужный на файл.

На остаток

Выше описанные возможности это не весь потенциал программы, так как она может множество других вещей таких как визуализация сайта. В целом это достаточно простой инструмент, но все же если тебе интересно я бы мог показать, что это такое и как с ним работать.

Правда все зависит о того нужно ли тебе это, если так-то напиши мне или отставь комментарий. Так же не забудь поделиться этой статьей в социальной сети с друзьями, это очень поможет мне и моему блогу, а также возможно я буду полезен еще кому-нибудь кроме тебя.

Оставьте комментарий