Как составить семантическое ядро: обзор инструментов

В комментариях к материалу о процессе составления семантического ядра нас попросили сделать обзор программ и сервисов, которые могут пригодиться на каждом этапе (сбор ключей, их очистка и кластеризация). Составить исчерпывающий список подобных продуктов сложно - их достаточно много, поэтому рассмотрим несколько интересных примеров.

Сначала вспомним, что нужно сделать для построения СЯ:

• сбор ключевых слов и словосочетаний
• максимальное расширение (дополнение низкочастотными фразами)
• очистка результатов (удаление неподходящих ключей: не соответствующих вашему предложению, содержащих упоминание конкурентов, дубли, содержащих другие города и регионы, ошибки и опечатки. Оставляем ключи с ошибками в названиях, т.к. их может сделать и пользователь при вводе в поисковую строку, остальное исправит поисковик)
• группировка (кластеризация) ключей
• применение в структуре и контенте сайта

Сбор ключевых слов и максимальное расширение

В первом материале подробно разбирались инструменты для сбора ключевых запросов - от популярных Key Collector и СловоЕб, до старого доброго Яндекс Wordstat и сервисов анализа страниц конкурентов. Однако мы обошли вниманием еще один удобный способ сбора СЯ, - готовые базы ключевых слов. Эта группа сервисов и программ неоднородна: есть в ней платные и бесплатные варианты, масштабные программные оболочки и небольшие базы по конкретным темам. Рассмотрим некоторые из них.

• Цена. Продукт платный: либо оболочка под вашу ОС и ссылки на файлы с базами, либо онлайн-версия, доступная по логину и паролю после оплаты
• Содержимое. Содержит данные по количеству запросов в месяц в Яндекс и показатели Яндекс Директ: цена за клик, прогноз бюджета, прогноз показов и т.д.
• Объем и обновления. Постоянно обновляется; на данный момент русская база ключей содержит 1,655,810,672 поисковых запросов по июнь 2017 года
• Языки. Помимо русской базы доступны базы на английском, итальянском, испанском, немецком и французском языках
• Экспорт результатов. Экспорт полученных результатов в txt, excel, html, csv

Интерфейс достаточно прост: вводим логин и пароль на стартовом экране, затем попадаем на основной экран, где нужно выбрать базу и ввести ключи для анализа:

Базы Пастухова: выбор базы и указание ключевых слов

Можно строить различные выборки по ключам и данным аналитики, в зависимости от того, для каких целей вы будете использовать базы. Вот несколько примеров:

• Анализ конкурентов. Выберите одного из ваших конкурентов, получите используемые им ключи с помощью соответствующих сервисов (например Semrush) и полученные результаты проанализируйте в базе - получите список фраз и словосочетаний, которые можно включить в СЯ для поисковика либо использовать в контенте
• Контент-план. При подготовке контент-плана введите основной ключевой запрос из Яндекс Wordstat в базу, чтобы получить развернутую статистику по его вариантам и словосочетаниям с учетом количества и цен на разных площадках
• Подсказки. Используйте подсказки (тематически связанные ключевые слова) для возможности добавления их или наоборот исключения из вашего СЯ
• Цена за клик. Отсортируйте по убыванию результаты выборки по цене за клик в Яндекс Директе и получите список самых дорогих ключевых слов

Базы Пастухова: выборка по ключам

Базы Пастухова: выборка по аналитическим данным

Базы Пастухова: использование подсказок

• Цена. Программа платная: покупая лицензию вы получите ссылки для скачивания десктопной версии плюс возможность пользоваться продуктом онлайн. Есть тестовый доступ: в ходе личной презентации, которая проводится по Skype, для заказчика, проводят выборки нужных тематик из базы, очистку и группировку ключевых слов и выгрузку в кампанию Яндекс.Директа.
• Содержимое. Собирает данные Яндекс Метрики по конкурентам, а также информацию из Яндекс Подсказок. Разработчики гарантируют получение реального СЯ конкурентов плюс составление "отчета как в Метрике" с реальными визитами, отказами и информацией о поисковых системах по 3,2 млрд фраз.
• Объем и обновления. Обновляется 1 раз в месяц; на данный момент 9 200 000 000 ключевых слов в базовой версии (Яндекс Метрика плюс Яндекс Подсказки) и 11 200 000 000 ключевых слов в pro-версии (Яндекс Метрика, Яндекс Подсказки, Google Подсказки).
• Языки. PRO-версия содержит GOOGLE-подсказки на английском по США, а отдельная версия "MOAB Буржуйка" содержит только GOOGLE-подсказки на английском языке

Возможности работы с запросами:

• подбор слов по региону;
• дата появления фразы в счетчике (может быть критично для сезонных направлений бизнеса или рекламных кампаний);
• из какой поисковой системы был переход на сайт;
• количество отказов;
• количество просмотров;
• количество переходов;
• время на сайте;
• выгрузка информации только по указанному домену в pro-версии;
• поиск низкочастотных запросов.

Название расшифровывается как Mother of all bases и по объему информации это оправдано: MOAB - это самая большая база в Рунете.

База MOAB. Добавление ключевых слов

База MOAB. Результаты

• Цена. Продукт бесплатный.
• Содержимое. База содержит ключи по двум типам запросов к Яндексу, которые формируются без операторов поиска или с ними: широкое соответствие и точное соответствие. В базе версии 1.1. присутствуют четыре типа запросов, т.е. два вышеупомянутых плюс фразовое соответствие (неточное фразовое соответствие) и широкое соответствие с точными словоформами.
• Объем и обновления. На данный момент состоит из 2 124 379 065 запросов и предлагает поиск по одному или нескольким словам с возможностью задать исключения.
• Экспорт результатов. Результаты экспортируются в форматах csv и txt; разбивка больших файлов на части для возможности анализа в Excel.

Возможности сервиса:

• функция комбинатора (использование предустановленных списков);
• представление статданных о популярности запросов;
• модуль морфологии, отключаемый по необходимости (дает возможность применять ключи не только в исходной, но и других формах - падежах и множественном числе);
• региональный фактор (статистику показов в Яндексе сервис представляет как для всего Рунета, так и для отдельных регионов - стран и крупных городов, всего для 80 регионов);
• отображение годового тренда поиска в Яндексе, при этом наиболее активный месяц дополнительно выделен (может быть полезно для анализа жизненного цикла товара, а также для подтверждения фактора сезонности спроса);
• количество результатов в Google;
• количество объявлений в Яндекс Директ (общее и количество объявлений спецразмещения для регионов Россия и Москва).

Очистка результатов

С задачей очистки промежуточных результатов от мусора идеально справляется Key Collector, который мы рассматривали в предыдущем материале. Кроме того, эта функция реализована у Букварикса, у сервиса СловоЕб (см. предыдущий материал), а также у некоторых других программ для подбора запросов и кластеризации. Принцип очистки в рассмотренных инструментах одинаковый: указание на этапе построения выборки стоп-слов.

Группировка ключей

Подробнее рассмотрим различные сервисы и программы для ручной и автоматической кластеризации запросов.

Цена. Быстрый бесплатный инструмент с понятным и удобным интерфейсом.

Сохранение промежуточных результатов и автоматизация. Сохранение невозможно, работает в ручном онлайн-режиме.

Он позволяет:

• загрузить запросы;
• отфильтровать их по ключевому слову;
• добавить минус-слова (так названы в данном сервисе стоп-слова);
• объединить в группы;
• получить в отдельном фрейме экрана в формате, удобном для копипаста.

Минусы:

• нет возможности добавить данные по запросам для их учета в качестве фильтра: частотность, количество переходов, цена и т.д.;
• использованные вами данные нельзя сохранить для последующей работы.

KG - бесплатный инструмент для ручной группировки запросов

Цена. Бесплатный

Сохранение промежуточных результатов и автоматизация. Можно сохранять проекты, ручная кластеризация.

Он позволяет:

• загружать списки ключевых слов для ручной кластеризации с помощью файлов форматов csv (в этом формате вы можете выгрузить его из Key Collector, СловоЕб, баз Пастухова, Букварикса и др.) и xls;
• можно загружать частотность;
• задать разделы будущего сайта;
• перетащить вручную загруженные запросы в каждый раздел;
• выгрузить полученную структуру для дальнейшей работы.

Минусы:

нет возможности добавить другие данные по запросам для их учета в качестве фильтра кроме частотности.

Создание проекта в Key Assistant: загрузка файла со списком ключей

Группировка запросов в Key Assistant

Цена. Это платная программа, но есть бесплатный тестовый период.

Сохранение промежуточных результатов и автоматизация. Можно сохранить проект. Кластеризация полуавтоматическая (разбивку по словам делает сервис, а распределение по структуре ресурса - вы).

Он позволяет:

• загрузить файл с ключевыми запросами;
• задать настройки (использовать оператор для предлогов, задать параметры UTM-меток);
• автоматически разбить запросы на ключевые слова;
• сформировать вручную список стоп-слов;
• очистить от мусора;
• вручную распределить из т.н. "черного кейса" по "белым кейсам" (разделам вашего сайта).

Keysa: создание проекта и загрузка файла с ключевыми словами

Keysa: настройки проекта

Keysa: очистка мусора и распределение по разделам сайта

После переноса можно кликнуть по названию белого кейса и посмотреть, какие запросы в нем содержатся. Здесь же предлагается выбрать необходимую настройку (Директ, AdWords или "Копирайтер"), чтобы составить рекламные объявления или ТЗ.

Keysa: продолжение работы с белыми кейсами

Цена одного запроса — 0,09 рублей, включая проверку частотности по Яндексу.

Он позволяет:

Выбрать поисковую систему и регион продвижения, настроить работу с ключами: выбрать тип кластеризации: soft — для контентных проектов и hard — для запросов с высокой конкуренцией, настроить порог кластеризации и указать частотность, если нужно.

Фрагмент демонстрационной кластеризации запросов в Line

Сервис выдает разбитую на группы семантику, которую можно скачать в файле Excel или смотреть на экране.

Цена. Это платный сервис: существует несколько тарифных планов, от S до XL, с разной ценой за инструменты сервиса по проверке позиций, подбору слов, сбору подсказок и др. Среди них есть и функция кластеризации. Попробовать ее возможности можно бесплатно.

Сохранение промежуточных результатов и автоматизация. Можно сохранить проект. Кластеризация автоматическая.

Он позволяет:

• задать запросы вручную либо загрузить файл;
• выбрать один из трех методов кластеризации;
• автоматически сгруппировать запросы.

Тестируем кластеризацию (бесплатно):

Топвизор: тест возможностей кластеризации

В процессе тестирования вас сопровождают подсказки, которые можно отключить перед тестированием:

Тестирование кластеризации: добавление проекта

Затем необходимо добавить URL вашего сайта:

Тестирование кластеризации: указание URL

Для импорта запросов переходим на страницу, предназначенную для работы с СЯ:

Тестирование кластеризации: переход на страницу работы с СЯ

Тестирование кластеризации: импорт запросов

Запросы можно указать вручную или импортировать с помощью файла форматов txt или csv:

Тестирование кластеризации: варианты импорта запросов

Далее запускается автоматическая кластеризация:

Тестирование кластеризации: запуск автоматической обработки запросов

Можно выбрать один из 2 вариантов: кластеризация по топ-10 или группировка по релевантности:

Тестирование кластеризации: выбор варианта

Если выбрать вариант кластеризации по топ-10, то в появившемся окне следует выбрать поисковую систему, язык и регион, по которому будут собраны запросы:

Тестирование кластеризации по варианту Кластеризация по топ-10: задаем параметры.

После этого указываем степень группировки:

Тестирование кластеризации по варианту Кластеризация по топ-10: Степень группировки

Выбираем один из 3 методов кластеризации. Как работает робот для сопоставления и связки запросов в каждом варианте подробно описано в справочном разделе сервиса:

Тестирование кластеризации по варианту Кластеризация по топ-10: выбираем метод кластеризации

Наконец-то все готово, запускаем:

Тестирование кластеризации по варианту Кластеризация по топ-10: запуск обработки запросов

После окончания обработки часть запросов будет сгруппировано в кластер (на скриншоте ниже - кластер "лагерь"), остальные запросы будут указаны как "запросы без связей":

Тестирование кластеризации по варианту Кластеризация по топ-10: результаты

Цена. Это платный сервис: существует несколько тарифных планов, от 0,6 до 0,18 р. за запрос в зависимости от их количества. Сразу после регистрации можно получить 50 запросов для тестирования сервиса бесплатно.

Сохранение промежуточных результатов и автоматизация. Можно сохранить проект. Кластеризация автоматическая.

Он позволяет:

• создать проект;
• загрузить ключевые слова и частотность из файла формата xls или xslx (как показано в примере далее). Можно также добавить в соседних колонках другие, нужные вам данные. Они не повлияют на работу сервиса, но будут показаны по соответствующим запросам в результатах обработки. Следовательно вам не придется подтягивать их самостоятельно;
• автоматически сгруппировать запросы;
• определить лидеров тематики;
• получить подсветку из сниппетов поисковой выдачи (для Яндекса);
• определить "коммерческость" и геозависимость запросов (для Яндекса);
• найти релевантные страницы для сайта (для Яндекса);
• провести seo-анализ текстов конкурентов и сравнить их со своими;
• сгенерировать ТЗ для копирайтера и проверить полученный текст;
• при необходимости подкорректировать разбивку запросов на группы, создав разделы и подразделы.

Прежде всего добавляем проект:

SEMparser: начинаем с создания проекта

Задаем настройки для анализа запросов (показатель Сила группировки позволяет задать степень схожести запросов в одной группе и таким образом повлиять на количество полученных в итоге групп):

SEMparser: устанавливаем параметры проекта

SEMparser: устанавливаем параметры проекта

Проверяем их перед запуском обработки:

SEMparser: уточнение параметры перед запуском автоматической кластеризации

И получаем результат:

SEMparser: результат кластеризации

Вкладка "Группировка" предназначена для создания структуры сайта, а на вкладке "топ тематики" - список 100 топ-доменов по показателю видимости этих запросов.

Закладка Группировка. Информация по группам и отдельным запросам

По группе на уровне заголовка указаны:

• название (самый частотный запрос в группе);
• количество запросов (в скобках до /);
• общая частотность (в скобках после /).

По каждому запросу указаны:

• частотность (в скобках);
• коэффициент коммерческости (напротив, зеленым цветом); принимает значения от 0 до 1 и рассчитывается по количеству коммерческих сайтов в топ 10 выдачи по данному запросу. Значение 0,7 означает 7 коммерческих запросов;
• признак геозависимости (напротив, синим цветом если запрос геозависим или серым если геонезависим).

По каждой группе и отдельному запросу доступны инструменты (раскрываются по кнопке (. ) напротив. На рисунке выше развернуты по запросу):

• параметры эталонных текстов и ТЗ копирайтеру;
• получение топ -10 документов по данной группе;
• получение подсветки для данной группы;
• получение релевантной страницы.

Для того, чтобы перенести запросы из одной группы в другую необходимо их выделить и нажать на иконку стрелочки на уровне той группы, куда их необходимо перенести:

Перенос запросов между группами

Кликнув по названию группы можно перенести ее полностью. Кроме того можно создать новую группу и перенести в нее запросы, а также удалить группы и запросы.

Правая сторона рабочей зоны предназначена для создания папок. Распределяя по ним запросы вы моделируете структуру сайта:

Моделирование структуры сайта. Перенос запросов между папками

Можно перемещать запросы между папками, возвращать их назад в левую часть, где находятся группы запросов, добавлять дочернюю папку:

Моделирование структуры сайта. Добавление дочерних папок

В левой и правой частях рабочей области можно установить фильтр:

Моделирование структуры сайта. Фильтры

На любом этапе работы вы можете:

• выгрузить проект;
• редактировать проект;
• восстановить проект;
• сортировать групп и папок по частотности или если она не указана по количеству запросов;
• импортировать и экспортировать структуру.

Файл выгрузки - это файл Excel с 3 листами:

• запросы;
• структура;
• топ тематики.

Лист Запросы содержит перечень запросов, с указанием по каждому:

• частотности;
• частотности группы;
• количества запросов в группе;
• названия папки;
• геозависимости;
• коммерческости;
• релевантной страницы для запроса и для группы;
• подсветка Яндекса для запроса и для группы;
• топ 10 URL для запроса и для группы;
• ссылка на параметры эталонных текстов для запроса и для группы.

Моделирование структуры сайта. Выгрузка содержимого проекта (Запросы)

Лист Структура содержит наглядную структуру СЯ:

Моделирование структуры сайта. Выгрузка содержимого проекта (Структура)

Лист топ тематики содержит топ-100 доменов по этим запросам:

Моделирование структуры сайта. Выгрузка содержимого проекта (топ тематики)

По нажатию пункта меню "Экспорт структуры" вы получите файл с одним листом, "Экспорт структуры":

Моделирование структуры сайта. Экспорт структуры

Цена. Это платный сервис: 0,55 р за кластеризацию одного ключевого слова плюс работает система скидок в зависимости от суммы пополнения счета. Попробовать ее возможности можно бесплатно - группировку 100 слов вам подарят.

Сохранение промежуточных результатов и автоматизация. Можно сохранить проект. Кластеризация автоматическая.

Позволяет:

• создать проект;
• загрузить файл с запросами;
• задать точность группировки (минимальное количество URL, достаточное, чтобы запросы попали в один кластер)
• выбрать один из двух методов кластеризации: soft (сравнение только с маркерными запросами) или hard (точное совпадение URL);
• выбрать один из трех типов кластеризации: кластеризация с ручными маркерами (знаете по каким запросам будете продвигать существующую структуру сайта), кластеризация с Wordstat (еще не знаете структуру) или и то и другое;
• указать стоп-слова и фильтровать геозависимые запросы;
• выбрать символьное или фразовое соответствие;
• запустить процесс кластеризации;
• выгрузить результат, включая релевантные страницы для кластеров.

Создаем проект, указывая для него поисковую систему и настройки кластеризации:

Rush Analytics. Выбор поисковой системы

Rush Analytics. Выбор настроек кластеризации

Rush Analytics: настройка стоп-слов

Результат выглядит так:

Rush Analytics. Результат

Цена. Это платный сервис: существует несколько тарифных планов, от 600 р за всю работу при объеме до 300 запросов до 0,9 р за фразу при объеме от 9000 фраз на русском языке и от 800 р за всю работу при объеме до 300 запросов до 1,7 р. за фразу при объеме от 10 000 фраз на английском языке.

Сохранение промежуточных результатов и автоматизация. Нельзя сохранить проект, работу удаленно ведет команда проекта. Кластеризация автоматическая.