Парсинг семантики через Key Сollector

Важное обновление! Модуль XML-River прекратил поддержку программы Key Collector, на текущий момент парсинг Вордстат технически не доступен. Здесь мы рассмотрим процесс парсинга запросов Вордстат через Key Collector. Процесс парсинга Google в данный момент технически не доступен.

• Выгрузка файла из Google Sheets, импорт в KK
• Выгрузка ключевых фраз напрямую без файла
• Выставление настроек в парсере XML-River
• Процесс парсинга
• Сбор минус-слов
• Удаление неявных дублей
• Чистка, кластеризация запросов
• Выгрузка итогового файла и файла минус-слов

Выгрузка файла импорта из Google Sheets в Key Collector.

1. Первоначальным этапом мы собираем маски ключевых слов в Вордстате, загружаем их в файл импорта, можно сразу разбить по группам. Так будет удобнее в дальнейшем парсить. Получиться должно что-то по типу того: Можно загружать фразы списком и без импорта, но так на мой взгляд, удобнее. Файл будет прикреплен ниже. Но в целом, это обычная таблица, которую можно создать самостоятельно. Пример таблицы: https://docs.google.com/spreadsheets/d/1Xx4I0JCc-uyet0ntZdhpykaqVaAnajYWRx8Wpv6_U6Q/edit#gid=1237543154   2. После заполнения таблицы, необходимо скачать файл в формате CSV. 3. После скачивания переходим в KK и создаем новый проект.  Называем его, после создания у вас откроется проект в основном интерфейсе. 4. Далее нажимаем “Файл” - Импорт - Данные CSV 5. Выбираем наш файл CSV, и при первом импорте необходимо будет настроить схему данных, чтобы нужные данные импортировались в нужные столбцы. Сопоставляем наши столбцы из таблицы с определениями из KK. В данном случае у меня Название группы КС = Группа, Все перемноженные слова = Фраза. Нажимаем кнопку импортировать, и при успехе вы увидите такое сообщение: 6. Далее возвращаемся по стрелке сверху слева в проект, и в проекте справа вы увидите ваши группы объявлений и фразы. На этом первый этап закончен, переходим к работе с парсингом.  

Выгрузка ключевых фраз напрямую без файла

Фразы можно выгружать без использования файла импорта, но в этом случае они будут загружены в 1 группу, которую вам необходимо будет класcтеризовать уже в KK. 1. Для загрузки необходимо создать Новый проект.       2. Перейти в проект, на вкладке Главная нажать кнопку Добавить фразы.     3. Внести список ваших фраз (которые вы предварительно собрали в Вордстат) и нажать кнопку добавить.   4. После добавления фразы попадут в Новую группу и отобразятся в интерфейсе.

Выставление настроек в парсере XML-River

1. Для парсинга мы будем использовать дополнение XML-River, которое можно найти на вкладке Парсинг - значок XML- River.     Нажимаем на него и выбирает Собрать фразы Яндекс. Вордстат.   2. Для того, чтобы собрать сразу все фразы для групп выбираем Режим добавления фраз : Разбить по группам и импортируем все группы Красной кнопкой. Удаляем ненужные (корзина, новая группа если таковые есть) Тут же выставляем и регион.    3. Переходим в настройки сверху. Выставляем настройки как на скрине и нажимаем кнопку Начать. 4. Процесс парсинга вы сможете наблюдать внизу, после окончания можно будет продолжить работу с ключевыми словами. Скорость парсинга зависит от количества и частотности ключевых фраз, которых вы добавили для парсинга. 

Сбор минус-слов

Сбор минус фраз можно производить как напрямую в KK, так и посредством выгрузки запросов в генератор минус-слов. Например, https://livepage.ua/tools/keys/. Я рекомендую использовать генератор, потому что так немного удобнее. Рассмотрим 2 способа:

1. С помощью КК:

В рабочей области просматриваем фразы, находим не нужные нам слова и нажимаем на кнопку Отправить в минус-слова напротив каждой фразы. Пример, допустим меня интересует слово “пробегом”. Переходим в добавление минус-слов, выбираем сверху “разбить по словам”, выделяем галкой не нужное нам словом и нажимаем кнопку добавить. Пример 2, я хочу исключить целую фразу, выбираю сверху “исходные фразы целиком”. Выбираю галкой фразу. И нажимаю кнопку добавить. После добавления я могу нажать на кнопку Показать найденные фразы.  Далее закрыть интерфейс минус слов, программа подсветит все фразы где встречается выделенное мной слово. Я могу выбрать их все с помощью чек-бокса и на вкладке данные нажать кнопку Удалить фразы. !Обязательно просматривайте запросы, которые вы удаляете, ведь случайно можно заминусовать предлог или важное слово. Учитывайте то, что КК сам склоняет минус-фразы.Поэтому добавив в одном склонении слово - вероятнее всего вы исключите и фразу в другом. Например, отминусовав слово пробегом, я могу сразу исключить пробег. Таким образом можно минусовать слова через KK. Но по мне, немного сложно, и нужно производить большее кол-во действий. 

2. Через экспорт и генераторы минус-слов.

Для реализации этого способа сначала мы объединяем фразы в “мультигруппу”. Для этого выделяем группу мышкой + зажатой клавишью Shift (таким образом, вы можете выделить все группы сразу поочередно без пропусков), если необходимо выделить отдельные группы зажимаем мышь + Ctrl. *Новую группу (она пустая и создается автоматические) можно не выделять, корзину тоже.  Нажимаем кнопку Файл сверху. Далее Экспорт-Фразы и статистика. И сохраняем файл XLS. Открываем в Excel копируем столбец фразы полностью и переходим в генератор минус-слов. Загружаем фразы в генератор. И начинаем собирать слова, кликая по ненужным. (Здесь показано на примере https://livepage.ua/tools/keys/ , но можете использовать любой другой удобный вам) После того как минус-слова будут собраны, нажимаете кнопку получить список минус-слов. В окне выбираете все слова (Ctrl+A) и копируете в буфер обмена (Ctrl+C) Далее возвращаемся в программу KK. Переходим на вкладку Данные - Минус-слова. Нажимаем +, и добавляем слова в открывшееся окно, сохраняем. Нажимаем “Показать найденные фразы” Проверяем по подсветке, все ли верно и выбираем все фразы чек-боксом, нажимаем кнопку Удалить фразы. !Обязательно просматривайте запросы, которые вы удаляете, ведь случайно можно заминусовать предлог или важное слово. Учитывайте то, что КК сам склоняет минус-фразы.Поэтому добавив в одном склонении слово - вероятнее всего вы исключите и фразу в другом.   Например, отминусовав слово пробегом, я могу сразу исключить пробег. На этом сбор с помощью генератора минус-слов и KK выполнен.  

Удаление неявных дублей

Неявные дубли  - это любые 2 фразы, состоящие из одного набора слов, расположенных в разном порядке. Например, “цветная капуста” и “капуста цветная” - неявные дубли, а “капуста цветная” и “капуста цветная свежая” нет. Неявные дубли необходимо удалять - ведь по сути это одна и та же фраза, только со словами в разном порядке. Если будет использоваться фразовый или широкий тип соответствия, они и так покажутся. Если будете использовать точный тип соответствия, который фиксирует порядок слов, тогда вам не нужно это делать. 1. Для того, чтобы удалить переходим на вкладку Главная. Выбираем пункт “Неявные дубли” Перед этим необходимо выбрать группы в “мультигруппу” справа. Для этого выделяем группу мышкой + зажатой клавишью Shift (таким образом, вы можете выделить все группы сразу поочередно без пропусков), если необходимо выделить отдельные группы зажимаем мышь + Ctrl. *Новую группу (она пустая и создается автоматические) можно не выделять, корзину тоже.  2. В открывшемся окне проверяем настройки, нажимаем кнопку Найти. В результате после того, как программа отработает, у вас откроется новая вкладка с результатами поиска дублей. 3. Далее нам необходимо выбрать параметры Умной отметки, чтобы выбрать эти фразы и удалить. Для этого нажимаем на стрелку рядом с кнопкой Умной отметки. Сперва выбираем Отметить все фразы кроме имеющих максимальное числовое значение. В источник данных выбираем База, сохраняем.  4. Нажимаем кнопку Умной отметки снова, чтобы фразы отметились. А затем Применить изменения, чтобы отобразилось на основной вкладке. 5. После этого переходим на основную вкладку Ключевые фразы, затем на вкладку Главная и нажимаем Удалить фразы. 6. Запускаем еще раз поиск неявных дублей. Теперь в параметрах выбираем пункт 2 - Отметить все фразы кроме одной для каждой подгруппы с одинаковым числовым значением (случайный выбор). В источник выбираем База. Сохраняем. 7. Проделываем те же действия, что и в пунктах 4,5. И удаляем снова фразы. 8. Запускаем снова поиск неявных дублей. В параметрах выбираем теперь первый пункт - Отметить все фразы кроме одной в каждой подгруппе (случайный выбор). После этого неявных дублей уже не должно остаться.

1. Проделываем те же действия, что и в пунктах 4,5. И удаляем снова фразы.
2. Можно запустить снова поиск неявных дублей и если все правильно, вы получите такое уведомление. Это значит задача выполнена. Мы почистили все неявные дубли.

Соблюдение именно такого порядка при чистке дублей важно, чтобы при случайном выборе не удалить нужные фразы.

Чистка, кластеризация запросов.

Следующим пунктом мы будем чистить и клаcстеризовать запросы по группам.  После сбора минус-слов и удаления неявных дублей все же могут затесаться не нужные фразы, поэтому нужно перепроверить каждую группу и по необходимости удалить ненужные фразы. А также удалить некоммерческие фразы. Так как мы собираем запросы для рекламы - необходимо стараться выбирать максимально коммерческие фразы (с приставкой купить, заказать, цена и тд) Затем необходимо провести чистку по частоте. 1. Просматриваем запросы удаляем или добавляем в минус-слова. 2. Кластеризация - это распределение запросов по группам. Объединять рекомендуется по смыслу. например, купить автомобиль и купить мерседес. Нужно добавить в разные группы. Правилом хорошего тона считается до 15-20 запросов в группе объявлений. Старайтесь его придерживаться при кластеризации. В рабочей области справа плюсом можно создавать новые группы и давать им название. По названию групп старайтесь использовать такое, чтобы было понятно какие там ключевые слова находятся. (Например, если группа с запросами о покупке автомобиля пежо- назовите ее “купить-пежо”). 3. Далее в списке запросов, мы можем использовать поиск сверху по словам, чтобы найти нужные нам фразы и перенести в нужную группу. А нажав и выделив все нужные фразы. Щелкните в области правой кнопкой мыши выберите Копировать/перенести фразы в группы и выберите нужную группу:  Удалить фильтр можно этой кнопкой. Таким образом и происходит кластеризация. Вы создаете новые группы, ищете ключевые слова и переносите их в нужную группу.   4. Чистим запросы исходя из частоты. Для того, чтобы использовать запросы в рекламе нам необходимо брать те, которые действительно ищут люди. Рекомендуется начинать от 10 запросов в месяц и более. Для того, чтобы это сделать - установим фильтр по частоте. Для того, чтобы скрыть пустые столбцы используйте Волшебную палочку. 5. Далее выбираем фильтр рядом со столбцом База. И выставляем его меньше чем 10 или другое число. Тут в зависимости от собранной уже семантики. 6. После этого выделяем все фразы и нажимаем кнопку Удалить фразы. Таким образом, можно чистить запросы по частоте. Но помните, ваша частота зависит от тематики. Есть узкоспециализированные тематики, где частота до 10 вполне нормальна. А есть тематики, где 20 слишком узко. В целом, нужно смотреть по уже собранному ядру. На этом мы закончим этап по кластеризации и чистке запросов.  

Выгрузка итогового файла и файла минус-слов

По сути это является последним этапом, когда мы проделали всю работу в программе, а теперь просто выгружаем результаты. 1. Выгрузка файла с ключевыми словами Сверху слева нажимаем Файл, затем Экспорт-Фразы и статистика. У нас сохраняется Excel файл с фразами, группами объявлений, частотой. Уже в принципе в таком виде можно отправлять клиенту на согласование. Но я немного больше заморачиваюсь и переношу их в Google Sheets, без частот и с другими названиями столбцов. Где клиент может зайти быстро оставить свой комментарий. Вот пример такого файла: 2. Выгрузка минус-слов.  Для того чтобы скачать минус-слова необходимо в интерфейсе на вкладке Главная кликнуть на кнопку минус-слова. Затем нажать кнопку Сохранить в файл. Они сохранятся в формате Блокнота. Откуда вы можете их скопировать опять же в Google Sheets на лист с минус-словами.