Оставить комментарий
В статье рассказывается:
- Что подразумевается под индексацией сайта
- Как ускорить индексацию сайта в поисковиках
- Как осуществить проверку индексации сайта
- Как закрыть сайт от индексации
Недостаточно просто написать и опубликовать на веб-сайте уникальный текст, чтобы интернет-пользователи смогли его прочитать. Любая статья, размещенная в сети, становится доступной только после того, как проиндексируется, то есть сведения будут обработаны поисковыми системами и сохранены в базу данных.
До того момента, пока контент не распознан и не проанализирован роботами-поисковиками, он недоступен для просмотра. Процесс распознавания может длиться и сутки, и месяц. Поэтому для продвижения любого веб-ресурса необходимо знать, как ускорить индексацию сайта.
Что подразумевается под индексацией сайта
Вся размещенная в интернете информация, собранная роботами (краулерами) с разных ресурсов и сформированная в единую базу, называется индексом поисковых систем. При индексации веб-сайта распознается не только текстовый контент (статьи, ссылки, метаданные), но и графический.
Когда интернет-пользователь желает найти ответ на какой-либо вопрос, он вводит соответствующий запрос в поисковике. Специальная программа сканирует базу данных, и полученные результаты предоставляет в виде списка веб-ресурсов. Ранжирование происходит по релевантности в порядке убывания, то есть по степени соответствия запросу пользователя.
Индексация веб-сайта – это сбор, анализ и формирование информации в единую базу данных. После добавления из собранных сведений создается выжимка – индекс. Существуют два способа, с помощью которых можно проиндексировать страницу – сделать это вручную или ускорить процесс за счет автоматизации.
В первом случае администратор самостоятельно вносит URL-адрес в соответствующую форму поисковой системы («Яндекс», Google, Rambler и пр.). При автоматической индексации краулер анализирует карту сайта (файл sitemap в формате xml) либо находит веб-ресурс, переходя на него с внешних ссылок.
Еще в конце 1990-х существовал алгоритм категоризации всех данных, размещенных в сети. Поисковые роботы сканировали веб-страницы, находили ключевые слова и распределяли сведения по каталогам, которые формировались по принципу предметного указателя. За последние десятилетия произошли глобальные изменения.
Чтобы ускорить индексацию веб-сайтов и сделать ее более качественной, внедряются вычислительные системы и искусственный интеллект. Современные боты анализируют информацию по разным параметрам.
Любой поисковик индексирует страницы сайтов, а сформированная база данных в дальнейшем используется, чтобы на запросы интернет-пользователей выдавать релевантные результаты. Разновидности поискового сканирования:
-
Основное – анализируется и обрабатывается веб-сайт целиком и отдельные его страницы.
-
Ускоренное – индексируется только информация, добавленная после обновления.
Боты сканируют текстовой и графический контент, новостные ленты и пр.
При первоначальной индексации обрабатывается сайт целиком, а его сведения попадают в базу данных. При повторной обработке веб-ресурса поисковиком информация лишь дополняется деталями.
Правила работы с поисковыми системами
Па просторах «Рунета» наиболее востребованы две поисковые системы – «Яндекс» и Google. Большинство веб-сайтов оптимизируются под алгоритмы индексации и ранжирования именно этих сервисов.
Вновь созданная страница, не проиндексированная поисковиком, не отражается в выдаче. Чтобы на запрос пользователя система вывела именно ваш сайт, о его существовании сообщите ботам. Сделать это можно двумя способами:
-
Разместить ссылку на страницу или веб-сайт на стороннем ресурсе – этот метод позволяет ускорить индексацию. Поисковик посчитает, что контент по указанному URL-адресу интересен и полезен интернет-пользователям, поэтому быстро направит роботов для сканирования сайта.
-
Использовать специальные инструменты, предназначенные для вебмастеров. В каждой поисковой системе («Яндекс», Google) есть функциональные возможности, с помощью которых можно отслеживать статистику веб-сайта или страницы – показы, переходы и другие метрики. Применяя сервисы, администратор сообщает поисковикам о существовании ресурса. Если после диагностики выяснится, что содержимое rtxt и мета-теги соответствуют требованиям, то сайт будет проиндексирован, а данные — выдаваться по соответствующему поисковому запросу.
Сканирование веб-ресурса поисковой машиной может занять от одного дня до нескольких недель. Очевидно, что любой вебмастер хочет ускорить процесс и добавляет свой ресурс в сервисы «Яндекс.Вебмастер» и Google Search Console.
Не стоит заблуждаться, что проиндексированный сайт сразу же будет в поисковой выдаче – для этого требуется время. Боты анализируют контент, оценивают его по различным параметрам (уникальность, полезность и пр.), а затем делают доступным к просмотру и ранжируют по запросам. Если же сделать что-то неправильно, то результата можно не дождаться вовсе.
Если вы решили индексировать веб-сайт только после полного наполнения, потребуется больше времени для анализа поисковиком. Чем больше контента, тем дольше длится индексация. Обычно после добавления ресурса в сервис вебмастеринга проходит 1-2 недели, прежде чем страница появляется в поиске.
Помимо двух описанных способов как ускорить индексацию сайта в Google или «Яндексе», есть еще один, менее эффективный, который реализуется введением в строку поиска следующих команд:
-
Яндекс:Host: Название + site.ru.
-
Google: Site: Название + site.ru, где site.ru – ваш домен.
Добавляется веб-сайт и при помощи автоматических сервисов, но предсказать результат сложно. Вероятнее всего, они просто воспользуются командами или размещением ссылки на стороннем ресурсе.
Ускоренная индексация новых страниц на сайте за счет внутренней оптимизации
Вебмастер всегда заинтересован в том, чтобы ускорить процесс добавления страницы в индекс. Краулеры не способны обрабатывать такой массив информации столь же быстро, как обновляется контент. В среднем данные в Яндексе индексируются 1-2 недели, в Google это происходит чуть активнее (несколько дней). Однако некоторым ресурсам (например, новостным порталам) необходимо как можно скорее попадать в поиск. Здесь используется специальный бот, который посещает веб-сайт в течение дня неоднократно.
Существуют условия, как ускорить индексацию сайта в «Яндексе» или «Гугле». Для быстрого распознавания контента поисковиком потребуются следующие действия:
-
Во-первых, добавить ресурс в сервисы «Яндекс.Вебмастер» и Google Search Console. Без этих инструментов ускорить индексацию не получится – сайт долго не будет появляться в выдаче, возможно, вообще туда не попадет.
-
Во-вторых, правильно настроить robots.txt. Не стоит забывать, что за одно посещение бот способен проанализировать ограниченное количество контента. Исключите из индексации страницы, где содержатся второстепенные данные, не требующие отображения в поиске. Сведения о страницах, которые следует проиндексировать, записываются в файл robots.txt.
-
В-третьих, оформить карту сайта (sitemap.xml). Файл содержит список тех страниц, которые необходимо проиндексировать с указанием приоритета и временных интервалов. Чем чаще обновляется карта, тем активнее поисковый бот будет анализировать внесенные изменения. Не забывайте: вебмастер заинтересован в том, чтобы робот заходил на веб-сайт как можно чаще.
Веб-ресурс всегда должен быть доступен. В противном случае, поисковик понизит уровень доверия, а значит, опустит ресурс в выдаче.
Ускорить индексацию можно, поработав над темпом загрузки страниц. Чем быстрее поисковый бот получает ответ на свой запрос, тем лучше.
Любой веб-сайт должен иметь четкую и понятную структуру. При создании разделов пользуйтесь правилом трех кликов: доступ к любой странице занимает не более 3 переходов с главной.
Код, написанный с ошибками, отрицательно сказывается на индексации. Правильным является код 200, поэтому любой другой, например, 404, который свидетельствует об ошибке, не должен попадаться поисковому боту.
Помимо описанных, существуют и другие эффективные способы ускорить индексацию сайта.
18 способов, как ускорить индексацию сайта в поисковиках
-
Разместите ссылки на авторитетных сервисах.
Поисковые роботы часто посещают такие порталы, как LiveInternet, «Рамблер ТОП100» и «Рейтинг@Майл». Размещение URL-адреса сайта на одном из ресурсов поможет ускорить индексацию.
-
Публикуйте полезный и уникальный контент.
Интернет-пользователи заинтересованы в том, чтобы на запросы получать релевантные ответы, то есть достоверную и оригинальную информацию. Поэтому поисковый бот хорошо ранжирует веб-сайты, на которых опубликован качественный контент. Не стоит дублировать проиндексированные тексты с других ресурсов. Таким способом вы не только понизите свои позиции в выдаче, но и можете попасть под фильтр.
Ускорить индексацию сайта можно, установив обратную связь с посетителями: вопросы и ответы, комментарии, конкурсы, опросы и т. д. Если под постом пользователи активно высказывают мнение, поисковики быстро ранжируют ресурс.
-
Регулярно обновляйте и дополняйте информацию на веб-сайте.
Чем чаще вы меняете и актуализируете контент, тем чаще боты заходят на ваш портал. Так, в «Яндексе» постоянно происходят обновления базы данных и изменения поисковой выдачи (update).
Если каждую неделю публиковать на сайте свежие статьи, через некоторое время система начнет регулярно его посещать, чтобы проанализировать новый контент. Таким образом, бота можно «приучить» быстро индексировать измененные или добавленные страницы. Это один из способов ускоренной индексации сайта в «Яндексе».
В поисковой системе Google ситуация обстоит несколько иначе. Новые веб-страницы индексируются в реальном времени, поэтому попадают в выдачу почти каждый день.
-
Разместите свою компанию в каталогах.
Чтобы ускорить процесс, используйте специальные инструменты автоматической регистрации. Они помогут быстро опубликовать URL-адреса, ведущие на главную страницу или конкретную статью, даже в каталогах с низким рейтингом. Однако если вы не уверены в репутации портала, не стоит там размещаться, чтобы не навредить веб-сайту.
-
Выкладывайте анонсы к новым постам в социальных закладках.
Они являются своеобразными аналогами закладок в браузерах. Для краткого обзора статьи подойдут Memori.ru, «БобрДобр», «МоеМесто» и пр. В них можно размещать ссылки на главные и внутренние страницы. Составляйте для анонса уникальный текст, не используйте фрагменты опубликованных статей. Ускорьте процесс размещения с помощью сервиса «Жукладочник».
-
Оставляйте комментарии в сервисах «Вопрос-ответ».
Подобные сервисы привлекают внимание не только интернет-пользователей, но и поисковых роботов, поэтому помогают ускорить индексацию. Опубликовать комментарий с URL-адресом своего сайта можно, к примеру, на портале mail.ru. Контент на некоторых ресурсах строго модерируется, поэтому комментарии со ссылками нередко удаляются. В этом случае воспользуйтесь услугами исполнителей с бирж фриланса. Пользователи с высокой репутацией хорошо проходят модерацию.
-
Комментируйте посты в тематических блогах.
Найдите подходящий блог (с высоким индексом посещаемости и регулярно обновляемым контентом) по запросу «рейтинг блогов + тематика». На таких интернет-площадках можно оставлять записи со ссылками на свой веб-сайт (в соответствующей форме), чтобы ускорить сканирование. Однако не злоупотребляйте этой возможностью.
-
Создайте RSS-трансляцию.
Привлечь внимание поисковых ботов и ускорить индексацию можно с помощью RSS-ленты. Зарегистрируйтесь в популярных RSS-каталогах, например, LiveRSS, Subcribe.ru, чтобы в них отображались анонсы ваших новых статей.
-
Публикуйте ссылки на популярных форумах.
Еще один эффективный способ ускорить индексацию сайта заключается в размещении URL-адреса на тематических форумах. Порталы для общения, которые ежедневно посещают тысячи пользователей, привлекают внимание поисковых ботов. Будьте активны в обсуждениях, тогда другие участники заметят ваши ссылки и подписи.
-
Включите пингование.
Специальная утилита, которая сообщает поисковикам о новом контенте на веб-сайте и ускоряет процесс распознавания, входит в набор функций WordPress – одной из наиболее популярных и востребованных CMS. В другую систему управления сайтом пинг-сервис также можно встроить.
-
Используйте e-mail рассылку.
Ссылки, размещенные в письме, будут еще одним каналом привлечения интернет-пользователей на сайт. Таким способом можно не только ускорить индексацию, но и увеличить трафик.
Сервисов для электронной рассылки великое множество. Выберите подходящий, сверстайте письмо и вставьте кликабельную ссылку на свою страницу.
-
Ведите блог на бесплатных хостингах.
«Живые журналы» (LiveJournal, Liveinternet и пр.) популярны у поисковых ботов. Чтобы ускорить индексацию сайта, достаточно лишь пройти бесплатную регистрацию на одном из порталов и регулярно оставлять там ссылки на веб-сайт: вручную или с помощью специального приложения (плагин для WP – LiveJournalCrossposter).
-
Заведите аккаунты компании в социальных сетях.
«Вконтакте», «Твиттер», Google+ имеют большую посещаемость, поэтому контент в них индексируется в ускоренном режиме (практически моментально). Виджеты на соцсети и кнопки для репоста статьи можно установить на своем сайте.
-
Покупайте ссылки с других интернет-площадок.
Этот способ не стоит использовать, если у вас вновь созданный сайт. Иначе вы не ускорите индексацию, а вызовете обратную реакцию у поисковых ботов. Однако если веб-сайт существует уже достаточно давно, но не попадает в выдачу, можно купить одну-две ссылки. Важно выбирать порталы с высокой посещаемостью, качественным и регулярно обновляемым контентом.
Обычно сайты, предлагающие подобную услугу, пользуются большим вниманием ботов, которые быстро заметят и перейдут по размещенной ссылке.
Бывают ситуации, когда приходится покупать ссылки у сторонних ресурсов. К примеру, требуется ускорить индексацию не веб-сайта, а конкретных страниц. Для этого достаточно приобрести две-три ссылки. Не забывайте, что нужно тщательно выбирать площадки для размещения – с высоким доверием ботов и регулярными новыми публикациями.
-
Используйте инструмент «Социальный замок».
Сервис в виде плагина или скрипта блокирует часть информации на веб-странице. Фрагмент текста, фото или видео будут недоступны, пока пользователь не совершит одно из действий: репост на свою страницу в соцсети, подписку на email-рассылку и пр. Способ позволяет не только ускорить индексацию, но и распространить контент.
-
Воспользуйтесь программой поискового продвижения.
Провести рекламную кампанию в интернете и повысить видимость сайта в поисковых системах можно с помощью автоматизированных систем, к примеру, платформы Seopult. Такие сервисы позволяют ускорить индексацию без особых усилий.
-
Постоянно наращивайте ссылочную массу.
Чтобы страницы сайта индексировались в ускоренном режиме (в течение нескольких часов), размещайте не менее тысячи ссылок на разных интернет-площадках.
-
Купите трафик на сайт.
Популярность какого-либо контента, допустим, информационной статьи, дает сигнал поисковым ботам, что страницу нужно проиндексировать. Закупить трафик можно на специальных платформах для сотрудничества вебмастеров и рекламодателей, которые именуются тизерными площадками.
Совет вебмастерам: если администрируете ранжированные сайты, размещайте сквозные ссылки на страницах, которые еще не попали в индекс.
Как ускорить индексацию картинок на сайте
Рекомендации будут особенно полезны тем, кто занимается продвижением в сети фотохостингов.
Сначала уточните, что боты разных поисковых систем («Яндекс», «Гугл», «Бинг») пользуются разными алгоритмами для индексации графического контента. Первыми по скорости обработки являются роботы Google, на втором месте – «Яндекс». Поисковая система Bing сканирует картинки медленнее остальных, причем только те, которые размещены на просторах Рунета.
Существует универсальный способ, который позволяет ускорить процесс распознавания изображений. При верстке страницы для каждого необходимо прописать атрибуты title="" и alt="" в теге <img>. Первый является подсказкой для пользователя: текст, размещенный в нем, будет всплывать при наведении мышки на картинку.
Бывают ситуации, когда браузер не отображает графический контент. Например, исходное фото недоступно либо в настройках эта возможность отключена. В таком случае вместо изображения будет выходить содержимое атрибута alt, то есть поясняющий текст.
Как выяснить, какое количество картинок поисковик смог проиндексировать? Для этого в строке используемого браузера необходимо написать команду site, после двоеточия и пробела указать имя домена и нажать Enter. Затем перейти в раздел «Изображения» или «Картинки» (в каждом поисковике называется по-разному), где будет указано конкретное количество проиндексированных фото.
Проверка индексации сайта
Помимо вопроса о том, как ускорить процесс распознавания, часто возникают и другие. Например, проиндексирована ли страница в принципе. Существуют разные способы выяснить, попал ли ресурс в поиск. Важное уточнение: для обработки пользовательского запроса и выдачи соответствующего результата используются сведения, которые находятся в базе данных поисковой системы, а не размещенные на конкретном веб-сайте. Итак, существуют три способа, позволяющих проверить индексацию:
-
Найти нужную информацию в кабинетах вебмастеринга («Яндекс.Вебмастер», GoogleSearchConsole и пр.)
-
Использовать доступные онлайн-сервисы. Принцип работы инструментов идентичен: необходимо указать URL-адрес и вся информация будет доступна.
-
Проверять вручную с помощью команды «site». Чтобы получить список проиндексированных страниц, в строку поиска нужно вбить site:my-site.ru
Рассмотрим подробнее первые два способа, которые являются ускоренными и более простыми.
Кабинеты
Первый способ – использование кабинета вебмастеринга в поисковой системе «Яндекс». Необходимо перейти по ссылке webmaster.yandex.ru, завести личный кабинет либо залогиниться, если он уже есть. Затем перейти по следующим вкладкам: «Индексирование сайта» – «Страницы в поиске».
Второй путь: «Индексирование сайта» – «История» – «Страницы в поиске».
Сервис предоставит полную статистику изменений: какие страницы были проиндексированы, а какие – исключены.
Алгоритм работы в поисковой системе Google: необходимо перейти по ссылке google.com/webmasters/tools/home, завести личный кабинет или залогиниться, перейти в раздел «Индекс Google» (на боковой панели инструментов) и выбрать «Статус индексирования».
Кабинет для вебмастеров есть и у mail.ru – webmaster.mail.ru. Отправить веб-сайт на индексацию можно через форму go.mail.ru/addurl.
Сервисы
Разработано множество онлайн-сервисов, с помощью которых можно ускорить процесс поверки индексации нескольких веб-сайтов. Наиболее востребованными являются:
-
Сервис http://www.seogadget.ru/sepages.
Инструмент позволяет проверить целый список сайтов в ускоренном режиме – достаточно поместить перечень в соответствующую форму. Сервис дает возможность указывать имена доменов, например, my-site.ru, и ссылки на конкретные страницы(my-site.ru/content/new). Имена доменов он определяет автоматически. Данный сервис используется, чтобы отследить индексацию веб-сайтов в поисковиках «Яндекс» и Google. В бесплатном режиме доступны 250 проверок в сутки.
-
Сервис http://xseo.in/indexed.
Принцип работы такой же, как и у предыдущего онлайн-сервиса, но с некоторыми ограничениями. Первый является более ускоренным, поскольку позволяет анализировать сайты по списку. В XSEO можно отследить попадание в индекс лишь одного сайта, то есть проверка выполняется поэтапно.
Как закрыть сайт от индексации
В некоторых случая вебмастеру необходимо не ускорить индексацию веб-сайта, а закрыть его (или часть контента) от поисковых ботов. Такие меры требуются, чтобы скрыть информацию, не предназначенную для публичного просмотра: технические данные, страницы-дубли и пр.
Для этого можно воспользоваться одним из способов:
-
Указать те страницы или сайт, индексация которых запрещена, в файле robots.txt. В текстовом документе для бота-поисковика прописываются правила, состоящие из двух частей: в первой (User-agent) указывается адресат, во второй (Disallow) – запрет на индексацию какого-либо объекта.
Универсальный запрет прописывается следующим образом:
-
User-agent: *
-
Disallow: /
-
-
Использовать мета-тегrobots. Именно этот способ применяется, когда необходимо закрыть одну страницу. Значения noindex и nofollow атрибута content="" вводят запрет на попадание в индекс веб-сайта, страницы или части контента:
<meta name="robots" content="noindex, nofollow"/> – весь документ будет закрыт.
-
Ввести запрет для конкретного робота:
<meta name="googlebot" content="noindex, nofollow"/>
Размещайте такие мета-теги при помощи плагина YoastSEO, в котором есть отдельные параметры, отвечающие за индексацию. Можно запретить попадание в индекс как отдельной страницы, так и всего веб-сайта.
Самый простой и правильный способ закрывать от индексации отдельные страницы – использование мета-тегов. В этом случае не нужно каждый раз вносить изменения в файл robots.txt.
