Работа с проектом и сбор данных

Пришло время для самого интересного – время для рассмотрения основных обязанностей программы. Ниже я вам расскажу, как добавить список сайтов в проект, как собрать данные и какие операции над ними можно производить.

А так же некоторые недокументированные возможности интерфейса пора, наконец, документировать :)

Добавление сайтов и парсинг параметров

Итак, я впервые запустил программу, произвел все настройки, описанные в предыдущем разделе руководства, и открыл свой уже созданный проект:

Проект создавался еще очень давно, но, видимо, остался на жестком диске. Ничего страшного, очистим все устаревшие данные. Вы наверняка не знали, что в программе есть «горячие клавиши» - да, они есть! Я нажимаю Ctrl+A, чтобы выделить все данные в проекте и затем жму DEL, чтобы очистить все данные, кроме самого списка сайтов в колонке «Хост». Затем я жму кнопку «Запустить парсинг» и начинается сбор параметров:

Как видите, если не введен ключ антикапчи, программа будет вам показывать окошко с просьбой ввести капчу. Вводим капчу и смотрим за сбором параметров, совсем скоро все будет собрано:

Так как параметров очень много, все они на один экран не помещаются, для этого есть полоса горизонтальной прокрутки, прокрутим ее до конца, чтобы посмотреть что же там:

Мы видим в самом конце три колонки с названиями «Формула», о них мы поговорим чуть позже. Так же мы видим, что данные для всех параметров Ahrefs равны «-1» - что это? Можно заметить, в окошке логов написано «Ahrefs.com: лимит запросов исчерпан или требуется платная подписка». Если в настройках вы ввели данные для доступа к сервису (логин/пароль), но при этом у вас нет платной подписки, то совершив 10 бесплатных запросов к сервису, программа будет выдавать значения -1, значит ваш дневной лимит исчерпан. Так что если у вас не платная подписка, рекомендую парсинг Ahrefs отключить, никак кардинально на итоговых результатах работы и вычислений это не скажется.

Так как у вас после первого запуска программы не будет ни одного заранее созданного проекта, вам придется добавлять список url вручную для своего первого проекта. Нажимаем на кнопку «Добавить список»:

Заполняем адреса самостоятельно или копируем список откуда-нибудь (из биржи, например).

«Отменить проверку главного зеркала и использовать данные из указанного списка» - установив эту галочку, вы отмените проверку главного зеркала для всего списка сайтов. Например, если бы я отменил проверку, то мой список из четырех указанных сайтов так бы и добавился, а главным зеркалом считались бы домены без www. А для yandex.ru, google.com и microsoft.com главное зеркало именно с www, а значит, проверка этих сайтов без www привела бы к ошибочным результатам. Так что отменять проверку главного зеркала я рекомендую только в случае вашей полной уверенности в правильности изначального списка сайтов.

«Удалить дубли хостов из указанного списка при добавлении» - тут все понятно, если программа увидит дубликаты адресов, то будет добавлен только один адрес. Кстати, дубликатами так же считаются адреса site.ru и www.site.ru и будут удалены, если не установлена галочка проверки главного зеркала. Жмем «Добавить»:

Это был самый просто способ добавления сайтов в проект. Ниже рассмотрим другие способы добавления списка сайтов.

Добавление сайтов из выдачи поисковых систем

Давайте добавим сайты из ТОП10 выдачи Яндекса по запросу «пластиковые окна» в регионе Москва. Нажимаем кнопку «Выдача Яндекса»:

Чтобы указать регион, достаточно начать вводить первые буквы, например, мо…

Как гласит программа, регион можно и не указывать, тогда будет использовано автоматическое определение региона на основании вашего IP (у меня бы определился регион «Екатеринбург»).

Далее нам необходимо указать сам запрос к поисковой системе и указать, какое количество результатов мы хотим добавить в программу. Так же есть возможность выбрать, к какому Яндексу будет обращение - ru/ua/by/kz. Региональность необходимо указывать, если вы не из России, иначе определение региона не будет срабатывать.

Жмем «Получить список сайтов» и ждем, пока не появится окошко со списком полученных сайтов. Если все устраивает, жмем «Добавить», чтобы сайты появились в проекте:

Давайте проделаем аналогичную процедуру, но только для поисковой системы Google. Для этого нажимаем на кнопку «Выдача Google»:

Здесь, в отличие от Яндекса, придется регион вводить полностью и без подсказок. Так же необходимо будет указать запрос, указать региональность Гугла и желаемое количество результатов выдачи.

Дальше все по аналогии, жмем «Получить список сайтов», ждем до появления окошка со списком сайтов, где жмем «Добавить».

В итоге мы добавили сайты из ТОП10 выдачи Яндекса и Google по запросу «пластиковые окна» и обнаруживаем, что в проекте появились дубли, а именно сайт mosokna.ru под номерами 16 и 31. Чтобы избавляться от подобных дубликатов в проектах, существует специальная кнопка «Удалить дубли»:

Далее узнаем, как еще автоматически можно получать списки сайтов для последующей проверки.

Добавление сайтов из панелей вебмастера

В последнее время все чаще случаются ситуации, когда необходимо проверить качество входящей ссылочной массы на свой сайт. Особенно если вы получили пенальти за искусственные входящие ссылки от Google. Кстати, обязательно прочитайте о том, как можно избавиться от фильтра за некачественные ссылки с помощью FastTrust.

А пока рассмотрим, как можно загрузить беклинки для своего сайта из панели вебмастера Яндекса. Нажимаем на кнопку «Вебмастер Яндекса»:

В открывшемся окне вам надо указать свои логин и пароль для доступа к аккаунту, при желании можете запомнить эти данные, чтобы не вводить их при каждом последующем обращении. Вводим логин и пароль и нажимаем «Войти в Яндекс.Вебмастер», после небольшого ожидания вам будет доступен выпадающий список сайтов, подтвержденных в панели.

Я выбрал из списка данный промо-сайт trust.alaev.info и нажал «Получить список ссылок»:

Основным требованием без выполнения которого загрузка беклинков будет невозможна – это принятие соглашения на выгрузку всех ссылок сайта в виде архива. Сделать это необходимо на данной странице настроек вебмастера Яндекса.

Все то же самое можно проделать и для сайтов, добавленных в панель вебмастера Google. Нажимаем на соответствующую кнопку «Вебмастер Google»:

Вводим свои логин и пароль, при желании ставим галочку запоминания, вводим точный адрес сайта, как он указан в панели вебмастера и нажимаем «Получить список ссылок», а далее все по аналогии.

Другие возможности работы с проектами

Иногда случается так, что возникает необходимость объединить данные из двух проектов. Например, вы сначала спарсили беклинки из панели вебмастера Яндекса в одном проекте, а потом решили получить беклинки из Google, но делали это в другом проекте. Или парсили доноров из разных бирж и решили свести их в одну базу. Просто так это сделать не получится, и предусмотрена кнопка «Объединить проекты»:

Программа предложит вам выбрать имя проекта, данные из которого будут добавлены в текущий открытый в программе проект:

После объединения двух проектов рекомендуется проверять и удалять дубли кнопкой «Удалить дубли».

Еще раз хочу повториться, что ленту панели инструментов с кнопочками всегда можно скрыть для увеличения рабочего пространства:

Еще одной важной особенностью является выборочный сбор данных для выделенных сайтов. Например, у вас большой список сайтов, но вам надо спарсить параметры только для нескольких сайтов из середины. И это сделать очень просто, необходимо выделить несколько строк или ячеек и нажать «Запустить парсинг», соответственно будут собраны данные только для выделенных сайтов:

Выше описаны все основные возможности программы относительно получения сайтов для добавления в проект. Т.е. на данный момент есть три основных пути: добавление списка сайтов вручную, парсинг выдачи по запросам и выгрузка беклинков из панели вебмастера. Очень скоро появится рад важнейших нововведений, таких как: интеграция с основными биржами ссылок, получение беклинков конкурентов через ahrefs и много другое.

Следите за новостями!