Как устроена поисковая выдача Яндекса и Google

Интернет-продвижение предполагает постоянный мониторинг выдачи по ключевым запросам. Это необходимо для оценки любых работ, производимых на сайте. Анализируя, как меняется позиция ресурса, можно понять, насколько эффективны оказались внесённые изменения. О том, как формируется поисковая выдача и как с ней взаимодействовать, вы узнаете в этой статье.

Что такое поисковая выдача

В современном мире Интернет приобретает всё большую популярность. Ежедневно миллионы людей ищут в «Яндексе» или Google ответы на интересующие их вопросы: «Где купить ежа», «Как выучить английский за месяц», «Как познакомиться с девушкой» или даже «Что делать, если я дура». Перечень ресурсов, который система формирует в соответствии с введённым запросом, называется поисковой выдачей.

Владельцы сайтов стараются поднять их на более высокие позиции, поскольку пользователи находят необходимую им информацию на первой-второй странице и дальше уже не листают.

Больше всего трафика получают те площадки, которые находятся в ТОПе поисковой выдачи. При этом первые три и последние четыре ссылки на первой странице поиска отводятся под рекламу.

В общем, поисковая выдача — это сайты, которые поисковик предлагает пользователю в ответ на его запрос. Чем выше в получившемся списке окажется конкретный ресурс, тем больше людей его посетят.

Для формирования выдачи используются специальные алгоритмы, позволяющие выявить, какие из существующих в Сети площадок лучше всего подходят под конкретный запрос. Если человек вводит ключевое слово «пластиковые окна», то система не будет отображать сайты по продаже одежды или косметики, поскольку они не соответствуют заданной теме.

По какому же принципу поисковики определяют, какое место в выдаче займёт тот или иной сайт и будет ли он вообще показан? Поскольку «Яндекс» и Google— это роботы, сделанные программистами, то при анализе площадок они используют заложенные специалистами критерии, а именно:

• релевантность, то есть степень соответствия ресурса ключевому слову;

• пользовательское поведение (например, если большинство посетителей практически сразу покидают страницу, значит, она не отвечает запросу);

• средняя продолжительность нахождения гостя на сайте;

• количество ссылок (чем больше авторитетных ресурсов ссылаются на сайт, тем лучше он ранжируется).

Выходит, что первыми в поиске всегда оказываются именно те страницы, которые лучше всего отвечают на вопрос пользователя? На самом деле нет. Дело в том, что в работу поисковых роботов вмешиваются SЕО-оптимизаторы — люди, которые понимают механизм работы системы и целенаправленно продвигают тот или иной ресурс в ТОП.

Выше описаны лишь общие принципы алгоритма ранжирования. Как на самом деле формируется органическая выдача поисковых систем — тайна за семью печатями. Если бы кто-то из SЕО-специалистов получил доступ к этой информации, он смог бы гарантированно обеспечить попадание любого сайта на первое место в поиске.

Однако полный перечень используемых критериев никому не известен, поэтому при продвижении оптимизаторам приходится опираться на собственный опыт и интуицию. А поскольку все алгоритмы регулярно обновляются, изобрести метод раскрутки, который бы работал без осечек, попросту невозможно.

Как работает поисковая выдача «Яндекса»

Сейчас «Яндексу» известно несколько триллионов адресов. Каждый день около двух миллиардов из них подвергаются анализу. Обработкой сайтов занимаются роботы-пауки, краулеры. Они заходят на страницу, изучают её содержимое, делают копию, а затем начинают переходить по ссылкам. Таким образом система получает сведения о том, какая информация есть на данной площадке. После этого начинается процесс индексации.

Путём нехитрых подсчётов можно выяснить, что краулеры проанализируют все известные на сегодняшний день сайты примерно за два года. Однако на самом деле работа по созданию поисковой базы будет продолжаться и после, поскольку за это время появится огромное количество новых адресов.

Индексация

Определение индекса сайта — это процесс сбора основных данных о ресурсе, среди которых язык, вхождение ключевых слов и исходящие ссылки. Еще здесь стоит сказать о таком инструменте, как логи «Яндекса», который активно используется при индексации и ранжировании. Смысл его в том, чтобы учитывать особенности поведения пользователей: какие ссылки в поисковой выдаче они открывают, а какие нет. Вся собранная информация помогает задать индекс сайта.

Когда поисковые индексы определены, они отправляются в базу. У «Яндекса» она расположена на платформе MapReduce YT. Здесь данные хранятся в виде файлов, суммарный объём которых на данный момент составляет около 50 петабайт, или 50 тысяч терабайт.

Раз в неделю происходит апдейт, то есть обновление поисковой базы. В это время та информация, которая была собрана и проанализирована роботами за предыдущий период, добавляется в поиск и становится доступна пользователям. Кстати, специалист в сфере IT и разработки программного обеспечения Игорь Ашманов утверждает, что по объёму информационной базы «Яндекс» превосходит Google, причём в несколько раз.

Как видите, индексация — процесс длительный и протекает параллельно для большого количества разнообразных данных. Однако некоторые файлы анализируются и попадают в общий доступ быстрее других. Так происходит, к примеру, с новостями, потому что в этой сфере весь смысл публикаций заключается в их срочности.

Запросы, введённые в «Яндекс», реализуются следующим образом (балансерами здесь называются машины, которые формируют выдачу):

Выдача формируется из результатов трёх средних метапоисков. Это означает, что на каждое ключевое слово система выдаёт релевантные страницы, изображения и видео. Происходит это потому, что запрос проходит по трем разным индексам. По ним он спускается в самую глубь поисковой базы, разделенную на несколько тысяч частей. Этот процесс называется поисковой кластеризацией.

Для кластеризации необходимо программное обеспечение, выполняющее бессчётное количество разнообразных задач. Естественно, каждая программа также имеет определённые системные требования и занимает довольно много места. Поэтому поисковая кластеризация также требует огромного объёма компьютерного железного хостинга.

Хранение и передача ПО и необходимых для него данных в «Яндексе» происходит через внутренний торрент-трекер. Примечательно, что по количеству раздач он опережает даже крупнейший в мире пиратский трекер The Pirate Bay.

Ранжирование

Итак, в ответ на запрос пользователя система предоставляет ему список лучше всего подходящих по тематике страниц. То, какое место в поисковой выдаче займёт каждый из сайтов, определяется в ходе ранжирования. Для данного процесса у роботов тоже есть специальная формула.

Чтобы распределение ресурсов в поиске было максимально релевантным и помогало быстрее находить необходимую информацию, разработчики «Яндекса» придумали уникальный инструмент. Речь идёт о методе машинного обучения, получившем название Матрикснет. Благодаря ему схема ранжирования постоянно модернизируется: неактуальные критерии убираются, вместо них внедряются новые, выстраиваются комбинации, корректируются коэффициенты.

Ещё одно неоспоримое достоинство Матрикснет — возможность отдельно настроить формулу ранжирования для конкретной категории запросов. Это могут быть, к примеру, ключевые слова, касающиеся фильмов, сериалов или компьютерных игр. При этом качество поиска в конкретном сегменте улучшается, не вызывая каких-либо проблем в работе других сегментов.

Если первая формула ранжирования «Яндекса» весила 10 байт, то текущая версия занимает около 100 мегабайт памяти.

Смысл работы поисковиков в том, чтобы не только найти в Интернете все страницы, соответствующие тематике введённого запроса, но и отсортировать их по степени соответствия. Тем более удивительно, как быстро «Яндекс» решает эту задачу: выдача по любому ключевому слову формируется в считанные секунды. Не зря слоган «Яндекса» звучит как «Найдётся всё!». При этом обычно необходимую информацию содержит одна из первых ссылок. Если там вы не нашли того, что искали, скорее всего, поможет изменение запроса.

Как устроена поисковая выдача Google

Поисковая система Google увидела свет в 1996 году, когда студенты Ларри Пейдж и Сергей Брин разместили его на поддомене сайта Стэнфордского университета — google.stanford.edu. Отдельный домен google.com был зарегистрирован осенью 1997 года и вскоре стал одним из самых популярных сайтов во всём мире.

Поскольку в большинстве случаев одному ключевому слову соответствуют миллионы страниц, Google использует определённые методы ранжирования, позволяющие выбрать и вывести в начало выдачи наиболее подходящие.

Алгоритмы этой поисковой системы основаны на последовательном выполнении нескольких взаимосвязанных процессов: сначала страницы изучаются и индексируются, а затем отображаются в определённом порядке в зависимости от релевантности и персонализации.

На данный момент поисковая выдача «Гугл» показывает не только веб-страницы, но и информацию из книг, хранящихся в наиболее крупных библиотеках, а также позволяет узнавать расписание транспорта и много другой полезной информации. Расширению возможностей система обязана современной технологии под названием «Сеть знаний».

Сканирование

Сканирование интернет-страниц, или краулинг, — процесс изучения недавно появившихся сайтов и обновления информации о проанализированных ранее. Эту задачу в Google выполняют специально запрограммированные боты. Основой сканирования служит файл Sitemap, в котором все сведения о площадке сохраняются для дальнейшего использования поисковиками.

Google-ботом, или краулером, называют программу, которая находит и скачивает веб-страницы, сжимает полученные данные и отправляет на сервер. В процессе обработки краулер переходит по доступным ему ссылкам, анализируя таким образом содержимое всего сайта. В первую очередь сканированию подвергаются страницы высшего уровня, поскольку размещённый на них контент считается наиболее важным. Далее бот один за другим изучает более низкие уровни.

С Google-ботом можно взаимодействовать, указывая, что необходимо сканировать, а что нет. Обычно запрет на обработку прописывается в файле robots.txt, но это не всегда предотвращает появление ссылки в результатах выдачи поисковой системы. Гарантировано избежать попадания в общий доступ поможет атрибут noindex, который добавляется в код страницы, или заголовок noindex, указываемый в запросе HTTP.

В общей сложности сканирование занимает от нескольких дней до нескольких недель и повторяется согласно графику, определяемому Google. Однако владельцы сайтов могут запрашивать повторный анализ отдельных страниц или всего ресурса.

Индексация

Индексация — следующий после сканирования этап обработки ресурса, во время которого система определяет новизну контента и распределяет его по ключевым словам. На основе этих данных формируется поисковый индекс, который на данный момент включает уже сотни миллиардов страниц и занимает более ста миллионов гигабайт памяти.

Google способен индексировать практически все существующие форматы контента. Если страница соответствует рекомендациям для веб-мастеров, она добавляется в индекс.

Для ускорения индексации определённого адреса в Google существует функция «Проверка URL». Чтобы ею воспользоваться, достаточно указать необходимую ссылку и отправить запрос в формате site:URL-адрес страницы. Иногда страница появляется в поисковой выдаче в тот же день, когда вы отправили её на проверку.

Чтобы узнать, какие разделы сайта проиндексированы, откройте SearchConsole и зайдите в раздел «Индекс» — «Покрытие».

Ранжирование

Позиция сайта в поисковой выдаче Google зависит от множества факторов. Специалисты утверждают, что при ранжировании роботы учитывают более 200 различных критериев. Распределение результатов поиска происходит по уникальному алгоритму PageRank, в котором одним из основных показателей релевантности страницы является количество и качество внешних ссылок.

Среди других важных факторов ранжирования можно назвать:

• время существования домена;

• качество контента;

• коэффициент кликабельности (CTR) в органической выдаче;

• корректность работы мобильной версии;

• скорость загрузки страниц;

• SEO-оптимизацию: объём текста, уровень уникальности, процент вхождения ключевых слов, правильность метатегов и т. д.

Для каждого пользователя выдача по одному и тому же ключевому слову будет выглядеть по-своему. Объясняется это тем, что при ранжировании учитываются индивидуальные особенности, такие как местоположение, поведение и социальные факторы.

Чтобы грамотно распределить результаты поисковой выдачи по геозависимым запросам, Google считывает местоположение пользователя по IP-адресу или с помощью геолокации на мобильном устройстве.

Что касается поведенческих факторов, здесь основную роль играет история поиска и добавление тех или иных ресурсов в избранные. К примеру, если человек в последнее время искал информацию о ремонте, то на запросы со словом «краска» ему будут показаны сайты со строительными товарами. А если тот же самый ключ введёт парикмахер, то с учётом его предыдущих запросов система выведет в ТОП онлайн-магазины, предлагающие краску для волос.

Помимо прочего персонализация может поднимать в выдаче контент, который понравился друзьям пользователя в социальных сетях. Однако при желании можно отключить отображение персональных результатов в настройках поиска.

Как и где посмотреть поисковую выдачу

• Вручную через браузер

Проверить отображение в поисковой выдаче нужных страниц можно вручную, если у вас есть время и возможность самостоятельно вбить все ключевые слова и занести результаты в таблицу.

Главный минус данного способа состоит в том, что вы увидите индивидуальные результаты поиска, в котором сайты расположены с учётом ваших предыдущих запросов и других поведенческих факторов.

Чтобы этого избежать, попробуйте отключить персонализацию в настройках. В «Яндексе» это делается через вкладку «Результаты поиска», где можно поставить или убрать галочку с пунктов «учитывать мою историю поиска в результатах» и «показывать мои любимые сайты в подсказках».

Помимо отключения персонализации может помочь также выход из личного аккаунта, использование режима «Инкогнито» и очистка истории браузера.

• С помощью специального сервиса

Специалисты советуют использовать для анализа поисковой выдачи специальные сервисы. С их помощью вы сможете быстро и без особых проблем получить полную и достоверную информацию об индексации вашего ресурса. К наиболее популярным программам данного типа относятся:

• Топвизор

При регистрации нового аккаунта в Топвизор вы получите возможность бесплатно проанализировать 200 запросов. Проверка доступна для таких поисковых систем, как «Яндекс», Bing, Google, Seznam, go.Mail.ru, Yahoo!, «Спутник», а также для сайта YouTube.

Чтобы начать работу, войдите на сайт и нажмите кнопку «Мои проекты». Затем выберите опцию «Добавить проект» в правой верхней части окна. Введите в выпадающем меню URL сайта и нажмите «Добавить». Затем через кнопку «Позиции» под названием площадки вы сможете перейти непосредственно к проверке позиций в органической выдаче.

Выбрать ключевые слова, по которым требуется осуществлять анализ, можно в разделе «Ядро/запросы». Там вам будет предложено создать новую группу и наполнить её необходимыми ключами.

Также для получения более точных результатов стоит указать регион поиска и поисковую систему, в которой вы собираетесь продвигать свой сайт. Все эти данные вводятся в настройках проекта. Чтобы запустить проверку, выберите опцию обновления в левом верхнем углу экрана.

Помимо общего анализа вы сможете проверить сайт в поисковой выдаче отдельно в «Яндексе» или Google с указанием региона и выбором одного конкретного ключа. По завершении вам будет предложено сохранить отчёт в одном из доступных форматов: CSV, XLSX, PDF или HTML.

Топвизор отличается интуитивно понятным интерфейсом, большим количеством полезных инструментов и возможностью точно настроить параметры поиска. Кроме того, сервис содержит обширный справочник, объясняющий все особенности работы с ним.

Владельцам сайтов может пригодиться предлагаемая программой возможность отследить динамику позиций по ключевым запросам. Вы можете выбрать определённый период (например, год) и посмотреть, как менялось процентное соотношение страниц, отображаемых в ТОП-3, ТОП-10 и ТОП-30 поисковой выдачи. Эта информация поможет сделать выводы о том, насколько эффективны используемые вами методы продвижения.

С помощью Топвизора можно подбирать ключи для семантического ядра, настраивать ставки в Яндекс.Директе, сравнивать сниппеты, группировать страницы по релевантности и многое другое. Помимо прочего, включив опцию «Радар», вы сможете получать автоматические уведомления об изменении позиции сайта.

• AllPositions

При регистрации в AllPositions вы получите 1000 монет на оплату использования сервиса.

В данной программе можно отслеживать, на какой позиции в поисковой выдаче находится ваш сайт, оценивать его посещаемость с помощью Google Analytics, а также анализировать успехи конкурентов.

Регистрация и подтверждение аккаунта на AllPositions.ru не должны вызвать у вас никаких проблем. После этого вы сможете создать новый проект (кнопка «Добавить»), заполнив его основные данные: название, URL сайта и т. д. Затем нужно будет настроить форму отчёта: отметить необходимость учёта поддоменов, если они есть, выбрать поисковик, регион, частоту проверок.

Далее вас попросят составить список ключевых запросов. Каждый из них необходимо вписывать с новой строки. Завершив заполнение, нажмите кнопку «Добавить» и ждите окончания проверки. Когда отчёт будет готов, вы сможете скачать его в формате XML.

Если подключить к сервису профиль в Google Analytics, станут доступны такие необходимые для анализа посещаемости функции, как отслеживание источников трафика, процента переходов из разных поисковиков, их география и т. д.

• SE Ranking

При регистрации в сервисе у вас будет возможность бесплатно протестировать его возможности в течение двух недель. Также вы получите доступ к обучающему видео, в котором подробно объясняются принципы работы программы.

Чтобы найти сайт в поисковой выдаче, нажмите «Добавить проект» внизу страницы и введите в появившемся окне название ресурса и его адрес. Остальные параметры проверки можно не редактировать.

Следующий шаг — добавление интересующих вас пользовательских запросов. Вы можете вписать ключи вручную или же сделать автоматическую загрузку из статистики Google Analytics или Яндекс.Метрики.

Помимо ключей нужно будет также указать регион поиска и используемую систему. В конце нажмите «Добавить», а затем «Завершить».

Простота и понятность делает SE Ranking отличным вариантом для новичков, которых может запутать обилие различных возможностей в более крупных сервисах.

В первую очередь данная программа используется именно для анализа позиций ресурса в поисковой выдаче. Однако есть и несколько дополнительных инструментов: например, можно оценить правильность SEO-оптимизации, подобрать наиболее подходящие для продвижения ключевые запросы и т. д.

• Rush Analytics

Rush Analytics при регистрации начисляет на счёт пользователя 200 лимитов, которые доступны к использованию в течение 14 дней. Эта программа позволяет проверить поисковую выдачу, а также получить данные об индексации ресурса и поработать с ключевыми запросами.

Перейти к анализу позиций можно с главной страницы через вкладку «Регулярная проверка» в левом меню. Там нужно будет нажать кнопку «Создать новый проект».

Настройка происходит так же, как и в перечисленных выше сервисах: вводится название проекта и адрес сайта, выбирается поисковая система, определяется частота проверки (каждый день, каждую неделю, вручную или после обновления поисковика), указывается регион и язык, а также тип устройства (телефон или компьютер).

Затем нужно будет составить список ключевых запросов, по которым необходимо проанализировать выдачу. Кроме всего прочего, можно указать адреса сайтов-конкурентов, чтобы узнать и их позиции тоже.

По результатам проверки Rush Analytics предоставит вам удобный отчёт о том, как ресурс отображается в результатах поиска. Вы сможете увидеть, какие страницы сайта попадают в ТОП-3 или ТОП-5, а также узнать процент его видимости.

В целом Rush Analytics — один из самых простых и полезных сервисов, позволяющих мониторить, какую позицию в поисковой выдаче занимает продвигаемый ресурс. Его преимущества — возможность настроить проверку результатов поиска с мобильных устройств или компьютеров, а также отсутствие необходимости скачивать отчёт, чтобы увидеть релевантные страницы.

• Be1.ru

Здесь любому желающему доступно 100 бесплатных проверок, которые можно провести даже без регистрации.

Чтобы проанализировать выдачу сайта по поисковым запросам на Be1.ru, откройте раздел «Проверка позиции» и заполните все необходимые поля: URL, ключевые слова, регион и т. д.

Результаты будут готовы в течение нескольких минут. Вы увидите список запросов с указанием места, которое ваша площадка занимает среди всех результатов поиска. Также система предложит скачать отчёт в формате CSV (в него включается не только базовая информация о выдаче, но и перечень релевантных страниц).

Плюсы Be1.ru — это удобство использования и широкое разнообразие функций и полезных инструментов. Однако обратите внимание, что данный сервис не позволяет анализировать выдачу Google (даже зарегистрированным пользователям). То есть сайт можно смело брать на вооружение, но только если вас интересует продвижение в других поисковых системах. С его помощью можно будет в любое время получить актуальную информацию об отображении ресурса в поиске.

Что делать, если отображается не та страница в поисковой выдаче

Иногда владелец сайта продвигает по запросу одну страницу, а в поиске все равно отображается другая. Почему так происходит?

Чтобы ответить на этот вопрос, нужно обозначить разницу между целевой страницей и релевантной. В первом случае имеется в виду документ, для которого настраивается продвижение; во втором — тот, который пользователи по факту видят в выдаче.

Иногда случается так, что поисковые роботы по тем или иным причинам считают другую страницу сайта более подходящей для ответа на вопрос, чем та, которая выбрана для продвижения.

Вот несколько причин, почему вместо целевой страницы в поиске выводится другая:

• Целевая страница не проиндексирована системой.

• Целевая страница не отображается в поиске из-за попадания под фильтр. Это может произойти по причине переоптимизации или недостаточного уровня уникальности контента.

• Продвижение коммерческой страницы осуществляется по информационному запросу. Из-за этого поисковик выбирает для отображения в выдаче раздел с публикациями или блог.

• Содержание другой страницы лучше соответствует ключевым словам.

• Неверно организована система перелинковки, в результате чего релевантная страница опережает целевую по количеству упоминаний, содержащих запрос.

Если в выдаче, по поисковым словам, отображается не целевая страница, попробуйте сделать следующее:

1. Посмотрите, есть ли нужная страница в кэше поисковой системы. Если нет, то её нужно добавить туда вручную с помощью Яндекс.Вебмастера или Центра вебмастеров Google соответственно.

2. Убедитесь, что страница не зафильтрована, изучив перечень фильтров, которые используют поисковики. Если наблюдаются признаки блокировки, эту проблему необходимо решить.

3. Проверьте соответствие типа страницы типу ключа. Для попадания в ТОП необходимо организовать продвижение информационных страниц по информационным запросам, а коммерческих — по коммерческим. Если обнаружилось несовпадение, его необходимо устранить. Для раскрутки сайта по спектральному запросу (когда в выдаче можно встретить разные виды страниц) важно повысить ценность контента: увеличить объём текста, поднять уровень уникальности.

4. Выясните частоту вхождения ключевых слов на той странице, которую вы раскручиваете, и на той, которую поисковик считает более релевантной. Обычно роботы предпочитают документы, где ключи используются чаще (кроме случаев, когда этот параметр явно превышен). Это не значит, что целевые запросы можно использовать только на продвигаемой странице, но на ней их должно быть больше. Не забудьте добавить ключ в заголовок браузера и страницы.

5. Обратите внимание на тексты упоминаний. Чтобы в поисковой выдаче отображалась нужная страница, на неё должно быть больше ссылок, содержащих запрос.

В некоторых случаях исправить ситуацию помогает следующий метод: добавьте ссылку с релевантной страницы на целевую, используя при этом ключевое слово.

Завершив работу, не забудьте отправить сайт на переиндексацию через Яндекс.Вебмастер и Центр вебмастеров Google. Так информация быстрее обновится, а нужная вам страница окажется среди результатов поиска.

Что такое апдейты поисковой выдачи

Апдейтом называют обновление баз данных поисковика. Как у «Яндекса», так и у Google есть два вида апдейтов: первый подразумевает изменение результатов поиска, а второй — рейтинга сайтов.

Сам термин происходит от английского «update». В словаре можно встретить множество вариантов перевода этого слова, но в данном случае имеется в виду процесс обновления того перечня сайтов, который пользователи получают в ответ на свой запрос, а также рейтинга каждого отдельного ресурса.

• Поисковый апдейт

Смысл этого вида апдейта в том, чтобы поддерживать актуальность поисковой выдачи.

Поисковые базы состоят из копий страниц различных сайтов, сделанных специальными ботами. При этом боты также должны своевременно обнаруживать новый контент и периодически сканировать заново уже проверенный и сохранённый. Частота проверок — как новых, так и повторных — зависит от самого ресурса. Если бот постоянно находится на площадке, то все обновления будут довольно быстро индексироваться и отображаться в выдаче.

В процессе сканирования все разделы сайта сохраняются в поисковой базе — кэше. Однако на первом внесении страницы в базу всё не заканчивается: пока ресурс существует, его будут постоянно перепроверять, чтобы пользователи видели актуальную информацию.

Если происходят какие-либо изменения в алгоритмах поиска, они также вступают в силу только после апдейта выдачи.

Таким образом, поисковый апдейт подразумевает обновление выдачи за счёт информации об изменениях, получаемой в процессе непрерывного сканирования интернет-ресурсов.

• Рейтинговый апдейт

В некоторых поисковиках существует особая система определения рейтинга сайтов. А это значит, что существует и рейтинговый апдейт, поскольку информационное наполнение ресурсов постоянно меняется и его необходимо анализировать заново. Изначально эти показатели внедрялись для того, чтобы оценивать качество сайтов, однако по факту они не отображают реальной картины.

Апдейты «Яндекса»

• Апдейт выдачи

Обновление поисковой выдачи «Яндекса» осуществляется на основании сохранённых ботами копий сайтов. При этом используются копии базы поисковой системы за определённое число, включающие данные всех проанализированных в этот день страниц, которые и попадают в индекс. Причём в выдаче страницы обычно появляются позже, чем выкладываются.

Боты «Яндекса» постоянно исследуют Интернет с целью обновить имеющиеся в базе копии ресурсов. В ходе апдейта данные, собранные в определённый день, выкладываются в общий доступ. Иначе говоря, в процессе обновления в выдачу попадают копии, сделанные не так давно, но не в день обновления. Разница между этими датами составляет примерно от 3 до 10 дней. Если, допустим, апдейт запланирован на 21 число, а копия новой публикации сделана 13, её могут добавить в индекс, но это не обязательно.

Существует несколько подвидов апдейта выдачи:

• Текстовый. На основе актуальной информации о ресурсах обновляется изменённый вербальный контент и добавляется новый.

• Ссылочный. Здесь речь идёт о добавлении в индекс внешних и внутренних ссылок, содержащихся на сохранённой копии страницы.

• Поведенческих факторов. Данный вид обновления является относительно новым и подразумевает учёт собранных данных о поведении пользователей на той или иной площадке (как долго гости просматривают сайт, сколько внутренних ссылок открывают, оставляют ли комментарии и добавляют ли адрес в закладки).

• Базы картинок. В данном случае в индекс добавляются изображения, найденные ботами в Интернете.

• Favicon. В процессе апдейта в выдачу попадают новые иконки сайтов (они отображаются справа от ссылки). До соответствующего обновления пользователи видят предыдущую картинку.

• Зеркальщик. Здесь публикуются изменения на зеркалах ресурса, если таковые были.

• Каталог. Обновления Яндекс.Каталога тоже можно считать частью апдейта поисковой выдачи, поскольку здесь содержится список площадок, которые «Яндекс» считает наиболее авторитетными в той или иной сфере.

Каждый апдейт характеризуется определённой степенью изменения результатов поиска. Данный показатель говорит о том, сколько новой информации было вынесено в общий доступ. Если степень изменения высокая, такое обновление считается хорошим.

Иногда бывает, что отредактированную страницу можно увидеть в выдаче по поисковому запросу уже через несколько часов. Как это происходит?

Актуализацию результатов поиска вне зависимости от апдейта в «Яндексе» осуществляет быстробот. Он находит в Сети новые документы, тут же индексирует их и может сразу же отправить в выдачу. В течение нескольких дней на такую страницу будет приходить трафик, но потом поток прекратится до полноценного обновления.

Смысл существования быстробота в том, чтобы разбавлять выдачу новой интересной информацией. Однако позиция опубликованных таким образом страниц стабилизируется только после полноценного апдейта.

• тИЦ

Сокращение тИЦ обозначает «тематический индекс цитирования». С помощью данного показателя «Яндекс» учитывает количество и качество внешних ссылок на сайт.

По мнению «Яндекса», тИЦ является одним из основных критериев оценки интернет-площадок. Рассчитывается он исходя из того, сколько сайтов ссылаются на данный ресурс, что это за сайты, к какой тематике они относятся, как оформлена сама ссылка, как давно она существует и т. д. При этом на тИЦ больше влияет именно качество упоминаний, а не их количество.

Скачайте полезный документ по теме:

Чек-лист: Как добиваться своих целей в переговорах с клиентами

Апдейты тИЦ необходимы для поддержания актуальности данного показателя. При этом «Яндекс» собирает данные о том, действительны ли существовавшие ранее ссылки на каждый ресурс и появились ли новые.

Есть два типа обновления тИЦ: кнопочное и тулбарное. В первом случае меняется информация, отображаемая на специальных кнопках на сайте. Во втором случае — та, которую можно увидеть в Яндекс.Баре. Особых различий между этими показателями нет, но ориентироваться лучше на кнопочный, поскольку он обновляется чаще.

Для эффективного продвижения сайта в поисковой выдаче полезно было бы знать, когда «Яндекс» планирует следующий апдейт. Однако дата обновления каждый раз выбирается случайно и рассчитать её невозможно. Известно лишь то, что результаты поиска актуализируются 1-2 раза в неделю, а тИЦ — 1-2 раза в два месяца.

Апдейты Google

• Апдейт выдачи

Формирование выдачи у Google происходит совсем иначе, чем у его ближайшего конкурента. Такого многоступенчатого процесса сохранения и публикации копий страниц, который описан выше, здесь нет. Апдейт происходит перманентно: как только на сайте появляется какая-то новая страница, боты тут же её анализируют и отправляют в общий доступ.

• PageRank

Показатель PR, как и тИЦ, обозначает авторитетность страницы и определяется на основе количества и значимости внешних ссылок. Обновляется он раз в 3-4 месяца. В Интернете всё чаще встречается информация о скорой отмене PR, но официальные источники об этом пока не заявляли. Впрочем, для продвижения в Рунете этот критерий особой роли не играет.

5 способов, как узнать про апдейты поисковой выдачи

1. PR-CY. Одна из лучших программ для получения информации об апдейтах. Работает как с «Яндексом», так и с Google. Здесь также есть опция отслеживания позиций сайта в выдаче, но за её использование нужно платить.

2. Tools. Анализатор обновлений от сервиса Tools.promosite. Показывает более подробную статистику относительно актуализации результатов поиска, следит за штормом выдачи и постоянно мониторит её. Удобно использовать через Toolbar или виджет для «Яндекса».

3. RDS. Одной из функций RDS-бара является информирование об апдейтах. Чтобы на панели отображалась дата обновления, нужно зайти в «Параметры» и поставить галочку напротив пункта «Даты апдейтов».

4. Почта. Если подписаться на соответствующую рассылку на странице Яндекс.Вебмастера, вы будете получать письма с оповещениями об апдейтах.

5. Twitter. Здесь последние новости можно узнать от пользователя @yandexupdates.

Кому и зачем нужен парсер поисковой выдачи

Парсингом называется автоматический сбор данных с определённого источника с целью их дальнейшей систематизации и использования. Парсинг возможен на форумах, в соцсетях, а также в поисковых системах.

Информацию о результатах поиска по необходимым ключевым запросам собирает программа, называемая парсером выдачи. Все важные сведения при этом оформляются в виде таблицы.

Получение данных о выдаче поисковых систем помогает анализировать деятельность конкурентов, определять лидеров отрасли и их ключевые характеристики.

С помощью парсинга можно узнать:

• число страниц в выдаче «Яндекса» или Google по тому или иному запросу;

• количество и качество внешних ссылок на сайты, находящиеся в ТОПе;

• уровень тИЦ и PR этих ресурсов;

• анкоры;

• наиболее релевантные с точки зрения поисковых роботов страницы.

Также парсинг используется для поиска:

• площадок для размещения ссылок;

• партнёров для обмена ссылками;

• ресурсов для платного размещения рекламы.

В целом парсинг предоставляет огромной объём полезных данных, благодаря которым вы можете составить полноценное представление о деятельности конкурентов, собрать семантическое ядро для сайта, найти множество потенциальных партнёров и т. д.

Ниже приведён перечень наиболее популярных программ для парсинга.

Платные варианты:

• KeyCollector находится на первом месте в ТОПе профессиональных парсеров. Стоимость лицензионной версии — 1800 рублей, также нужно будет оплатить антикапчу и прокси. Программа собирает данные из Вордстата, отслеживает позицию сайта и подсказки, анализирует релевантные адреса для запросов. Также среди функций создание скелета сайта, расчёт стоимости клика по регионам и многое другое.

• Магадан Pro — отличный анализатор выдачи «Яндекса». Приобрести его можно за 1500 рублей. Основная задача — парсить деревья Вордстата и выстраивать взаимосвязи между ними. Также помогает подбирать запросы для контекстной и поисковой рекламы.

Бесплатные варианты:

• Словоеб 2.0 — демоверсия KeyCollector.

• Магадан Lite — тот же Магадан Pro, только с ограниченным функционалом.

• YandexWordStater — расширение, с помощью которого можно проверять поисковую выдачу прямо в браузере.

• Content Downloader — удобный и многофункциональный инструмент, для работы с которым необходимо понимание основ html.

• Selka — отличный парсер с поддержкой прокси и антигейта, способный анализировать результаты запроса практически во всех существующих поисковиках. За 15 минут собирает до 100 тысяч ссылок и составляет отчёт в формате XLS и CSV.

Тем, кто предпочитает работать с облачными сервисами, могут понравиться следующие платформы:

• Serpstat — программа, которая предоставит вам всю необходимую информацию о положении конкурентов в выдаче, создаст семантическое ядро и сформирует детальный список URL.

• Spywords — аналогичный сервис, в котором в несколько кликов можно получить всю информацию о деятельности конкурирующих фирм, включая рекламу в поисковой выдаче.

• Key.so — сайт, способный собрать не только базовую информацию о поисковом продвижении других ресурсов вашей сферы, но и проанализировать их объявления и оценить заметность в поиске.

• Rush Analytics — один из самых быстро работающих сервисов, который совершенно не нагружает оперативную память компьютера.

Как анализировать конкурентов в поисковой выдаче

В любой сфере время от времени появляются новые компании, которые создают свои сайты и начинают активное продвижение в поисковой выдаче. Как следствие, возрастают и требования поисковиков, которым необходимо соответствовать.

Теперь для сохранения высоких позиций среди результатов поиска необходимо не только заниматься своей площадкой, но и анализировать деятельность конкурентов. Важно также регулярно проверять позиции сайта в выдаче, проводить SEO-аудит и совершенствовать стратегию продвижения.

Конкуренты определяются по семантическому ядру: так называют совокупность ключевых запросов, по которым пользователи ищут товары и услуги, предлагаемые вашей компанией. Если у вас ещё нет СЯ, стоит заняться этим вопросом прямо сейчас. Составить его можно через Rush Analytics — сервис, содержащий все необходимые для этого инструменты.

Когда ядро будет готово, вы сможете отправить его на проверку позиций с указанием региона поиска и определить, какие сайты продвигаются по тем же запросам. Для этой цели в Rush Analytics есть функция «Регулярная проверка», которая предполагает:

• проверку позиций ресурса по определённым ключам;

• нахождение 50 ближайших конкурентов;

• бесплатную проверку позиций 10 из них;

• составление перечня сайтов, находящихся в ТОПах по целевым запросам;

• оценку видимости конкурентов в выдаче и т. д.

Таким образом, «Регулярная проверка» позволяет не только найти ресурсы, занимающиеся аналогичной деятельностью, но и получить основную информацию об их прогрессе в продвижении. Следующим шагом будет анализ получившегося списка с целью определения прямых конкурентов.

Все конкурирующие сайты можно разделить на два типа:

1. Прямые (реальные) конкуренты — сайты компаний того же профиля, которые по тематике и типу (информационный/коммерческий) максимально совпадают с вашим. Обычно речь идёт о фирмах, которые не только работают на вашем рынке, но и выпускают похожие товары, ориентированные на ту же аудиторию.

2. Непрямые (косвенные) конкуренты — площадки, которые меньше других соответствуют вашему направлению работы, типу сайта и ЦА. Например, для парикмахерской таким конкурентом будет производитель уходовых средств для волос. Сюда же стоит отнести ресурсы наподобие Wikipedia, YouTube, AliExpress и Avito, с которыми нет смысла соревноваться, поскольку такие гиганты в любом случае опережают прочие сайты в рейтинге за счёт своей авторитетности.

Тратить время на работу со второй группой конкурентов не стоит, а вот первую необходимо проанализировать. Для этого отсортируйте сайты по количеству используемых ключей и видимости в выдаче. В итоге у вас должен получиться список из 10 основных соперников, в котором также можно выделить три подгруппы:

• растущие ресурсы (позиции которых за последнее время улучшились);

• стабильные (всегда находятся примерно на одном уровне);

• падающие (постепенно теряют позиции).

Следующий шаг — детальное изучение деятельности каждого из 10 ключевых конкурентов, результаты которого помогут вам осуществить оптимизацию поисковой выдачи. Ниже вы увидите список основных моментов, на которые стоит обратить внимание:

1. Возраст домена. Этот критерий очень важен, поскольку влияет на восприятие сайта поисковыми системами. Старые ресурсы имеют определённую репутацию, ранжируются лучше, а потому представляют большую опасность. И хотя молодые сайты иногда стремительно врываются в выдачу, в итоге они не выдерживают конкуренции со старожилами рынка. Ресурс, который существует уже с десяток лет, очень сложно сместить с занимаемой им позиции. Об этом стоит помнить и учитывать эту особенность при планировании продвижения.

2. Количество страниц в индексе «Яндекса»/Google. Чем больше документов находится в индексе, тем больше объём семантики и видимость площадки. Соперничать с такими сайтами сложно, но необходимо. Упор при этом стоит делать на разработку контента. Если вы замечаете, что кто-то из конкурентов каждый день загружает в кэш много новых страниц, на это стоит обратить пристальное внимание.

3. Объём трафика. Нужно понять, сколько людей просматривают интересующие вас ресурсы, с каких поисковиков приходят пользователи, через какие каналы (органическая выдача, реклама, социальные сети, почтовая рассылка).

4. Текстовая оптимизация.Здесь нужно изучить материалы с конкурирующего сайта, которые собирают больше всего просмотров. Обратите внимание на особенности SEO: какой тип контента выбран, какие инструменты стимулирования продаж использованы, как заполнены метатеги.

5. Ключевые слова. Посмотрите, по каким запросам площадки находятся в ТОПе выдачи, а по каким рекламируются. Выяснив, какие ключи используют конкуренты, вы сможете при необходимости пополнить своё семантическое ядро.

6. Ссылочная масса. Здесь определите, как много ресурсов ссылаются на сайт, что это за ресурсы (тематические или нет, информационные или коммерческие) и как этот показатель менялся в последнее время. Составьте список доменов-доноров, обращая внимание на их географическую привязку, отметьте, какие ключевые слова используются для упоминаний. Это важно, поскольку в некоторых случаях только качественные обратные ссылки способны вывести сайт в ТОП.

7. Структура и удобство использования. Обратите внимание на меню сайта: какие пункты оно включает, как устроена иерархия каталогов, какова структура URL. Также стоит изучить систему внутренних ссылок, удобство навигации и особенности функционирования мобильной версии.

8. Наличие https и мультирегиональность. Эти два фактора на данный момент являются одними из самых важных при ранжировании. Изучая работу более успешных конкурентов, вы поймёте, стоит ли переносить свой сайт на https, создавать отдельные страницы для пользователей из конкретных регионов или создавать отдельную версию на другом языке.

9. Технические ошибки. Чаще всего встречаются такие проблемы, как повторяющиеся страницы, ошибки в txt и sitemap.xml, неработающие ссылки, а также низкая скорость загрузки страниц с компьютера или с телефона. Обращать внимание на подобные недостатки ресурсов стоит для того, чтобы не допускать их в собственной работе.

Анализ деятельности конкурентов можно считать одним из важнейших этапов на пути к созданию эффективной стратегии продвижения сайта. По статистике 80 % успеха компании в онлайн-сфере зависит от умения руководителей оценить работу других представителей рынка и перенять наиболее удачные методы.

Сильные стороны соперников могут стать для вас своеобразным ориентиром в процессе оптимизации собственного контента, но для грамотного целеполагания не менее важно обращать внимание и на слабые стороны. Сравнение своего сайта с ресурсами других представителей рынка — важнейший элемент развития, но при этом важно избегать копирования. Зная, какие эффективные каналы лидогенерации стоит взять на вооружение и какие технические ошибки нельзя допускать, вы сможете опередить своих конкурентов.

Мониторьте собственную позицию в выдаче, обращайте внимание на успехи других организаций, анализируйте причины положительной и отрицательной динамики, постоянно добавляйте в семантическое ядро новые ключевые слова. Столь глубокий анализ поисковой выдачи требует времени и сил, но его результаты помогут вам оптимизировать сайт и приблизиться к достижению своих целей.

Автор статьи

Дмитрий Свистунов

Руководитель SEO-отдела и разработки

Последние статьи этого автора:

• Адаптивная верстка сайта: гайд для начинающих
• Анкор ссылки: виды, правила составления, влияние на продвижение
• Белая раскрутка сайта без перехода на темную сторону

Забрать подарки
из закрытой базы

Скачать 7,4 MB

Полезные
материалы
для руководителей

Скачать 3,2 MB