Индексация сайта в Google: проверка и ускорение

Если вы уже завершили работу над созданием корпоративного сайта, блога, интернет-магазина или другой онлайн-площадки, нужно позаботиться о том, чтобы ваш проект могли найти его потенциальные пользователи. Для этого необходимо добавить новый ресурс в поисковые системы. Эта процедура называется индексация сайта в Google, «Яндексе» или других поисковиках. После этого ваша онлайн-площадка будет доступной для пользователей, которые вводят в строку поиска соответствующий запрос.

Почему так важна индексация сайта в Google

Недавно появилась информация о покупке корпорацией Google совместно с NASA особой системы, которую условно можно назвать «квантовый компьютер». На базе устройства, приобретенного у компании из Канады D-Wave Systems, планируется запуск лаборатории по исследованию искусственного интеллекта.

Квантовый компьютер можно представить в виде высокопроизводительной машины, в оперативной памяти которой будет содержаться вся информация, присутствующая в Интернете. После реализации такой идеи необходимость в индексации сайтов отпадет. Все новые ресурсы сразу после публикации будут попадать в память квантовой машины, а следовательно, их можно будет найти в поиске.

Все описанное выше является долгосрочной перспективой, а сейчас без индексации в Google не сможет эффективно работать ни один интернет-ресурс, кроме тех, которые рассчитаны на пользователей закрытых информационных пространств (Китай и Северная Корея).

Сложно представить, какой огромный объем данных находится сегодня во Всемирной паутине. Чтобы поисковые системы могли быстро находить нужные сведения, всю информацию необходимо четко структурировать и разместить в определенных ячейках. В каталогах поисковиков хранятся данные о каждой онлайн-странице всех сайтов, поэтому пользователи могут легко находить то, что их интересует.

Всемирная сеть непрерывно наполняется огромными объемами новой информации. Даже передовые поисковые системы не в состоянии сразу же индексировать все поступающие данные. На интернет-площадках с высоким уровнем посещаемости роботы «Гугла» ежедневно проверяют обновление контента, а на других ресурсах индексация проводится каждую неделю.

Как происходит индексация сайта в Google

Скорость индексации разных онлайн-площадок в Google различается. Существует ряд факторов, от которых зависит, как быстро роботы поисковой системы посетят веб-площадку и сколько времени понадобится для внесения в информационную базу обнаруженных изменений. К примеру, новостные ресурсы индексируются быстроботами с интервалом в несколько часов. Есть несколько вариантов добавления онлайн-ресурса в «Гугл». Один из таких способов связан с размещением ссылок на проиндексированных страницах.

После посещения интернет-площадки роботы поисковой системы анализируют всю необходимую информацию и вносят ее в базу данных. Затем происходит ранжирование и определение авторитетности сайта (сортировка по установленным критериям – PageRank). Эти показатели рассчитываются исходя из количества и качества ссылок, которые ведут на него с других веб-страниц. Чем больше ссылочной массы, тем выше PageRank.

Рассмотрим основные факторы, влияющие на индексацию сайта в Google:

• посещаемость;

• релевантность контента (соответствие информации, представленной на сайте, запросам, которые интернет-пользователи вносят в поисковик) обеспечивается с помощью определенного количества ключевых слов в контенте и метатегах;

• внутренняя оптимизация страниц сайта.

Показатели авторитетности интернет-страниц могут находиться в пределах от 0 до 10. У лучших ресурсов PageRank составляет 4–5 пунктов. По шкале авторитетности сам «Гугл» имеет показатель в 10 пунктов. В настоящее время отключен тулбарный показатель PR.

Нужно учитывать, что страницы блогов, сайтов и других ресурсов, имеющие более высокие индексы авторитетности, в выдаче «Гугла» располагаются выше своих конкурентов. При этом каждая из них имеет свой собственный показатель PageRank, поэтому у всех страниц место в выдаче может быть разным.

Индексация осуществляется с помощью Googlebot, который и осуществляет сканирование.

Что такое «Гуглбот»? В чем отличие сканирования от индексирования веб-страниц? Как эти процессы могут ускорить попадание страниц сайта в выдачу «Гугла»? Ответы на эти вопросы приведены ниже:

1. Googlebot – специальная программа поисковой системы «Гугл», осуществляющая сбор информации в сети Интернет и сканирование веб-страниц с последующим их размещением в поисковой выдаче.

2. Сканирование старых и новых страниц сайтов, которое осуществляется программой Googlebot, необходимо для поиска новой и измененной информации, передаваемой поисковой системе «Гугл». На этот процесс значительное влияние оказывают ссылки.

3. После обработки информации, собранной гугл-ботами во время сканирования интернет-страниц, происходит их индексация. При условии, что размещенный контент соответствует качественным требованиям, он добавляется в индекс. В процессе индексации информации, размещенной на страницах, обязательно проводится рассмотрение ключевых слов, анализ alt-тегов и «тайтлов».

Различия индексации сайта в Google и «Яндексе»

Основное различие поисковых систем «Гугл» и «Яндекс» заключается в региональной принадлежности. Если Yandex работает только в русскоязычной части Интернета, то Google является международным поисковиком. Свои системы поиска есть практически в каждой стране. В некоторых случаях региональные сервисы могут составлять серьезную конкуренцию «Гуглу» («Яндекс» в РФ, Seznam – в Чехии, Baidu – в КНР и т. д.). Подтверждением этого факта могут служить переговоры по вопросам выкупа сервиса Yandex компанией «Гугл», которые имели место в 2003 году. Пока такое поглощение не состоялось.

У каждой поисковой системы есть свои программы ботов, осуществляющие проверку сайтов на предмет релевантности и качества представленного на них контента. При этом стандарты работы таких роботов постоянно совершенствуются. Нужно отметить, что разработчики не открывают полностью суть алгоритмов индексации, поэтому специалисты постоянно анализируют поисковые программы и на основании имеющихся практических данных формируют определенные выводы.

Требования, которые предъявляют «Гугл» и «Яндекс» к индексации сайтов, имеют много общего. Поэтому можно сформулировать некоторые универсальные рекомендации:

1. Нужно уделять больше внимание качеству контента (уникальность, полезность и грамотность). Программные и орфографические ошибки четко отслеживаются ботами и снижают индекс авторитетности сайта.

2. Интернет-площадки должны иметь понятную структуру. Важно, чтобы они были удобными для пользователей и содержали важную и ценную информацию.

3. Следует качественно проработать страницы контактов и обратной связи, разместить портфолио и отзывы, а также описать имеющиеся достижения.

4. На сайте нужно разместить работающие исходящие ссылки.

5. Контент на интернет-площадках должен постоянно обновляться, а их функционал следует дорабатывать с учетом различных нововведений и инноваций. Все это учитывается поисковиками при ранжировании сайтов.

По мнению экспертов, «Яндекс» работает медленнее, чем «Гугл». Но при этом поисковая система Рунета индексирует полезные материалы и исключает из выдачи «лишние» результаты.

Преимущество «Гугла» заключается в его универсальности. «Яндекс» же развивается исключительно в русскоязычном Интернете (попытки выйти на другие рынки имели место, но пока не увенчались успехом).

Система Yandex ориентирована на поиск по запросам из ограниченного перечня регионов. Но именно региональный характер во многом определяет его успешность. В настоящее время «Гугл» и «Яндекс» занимают в русскоязычном Интернете примерно одинаковые ниши.

Yandex указывает сайты, для которых необходима привязка по региону:

• Информационные ресурсы, которые имеют региональную направленность. В «Вебмастере» «Яндекса» необходимо прописать предпочтительный регион.

• Площадки, которые предлагают продажу товаров или услуг. В эту категорию попадает широкий перечень сайтов, начиная интернет-магазинами и заканчивая порталами знакомств.

В интернет-пространстве других стран поисковая система Yandex не получила распространение, так как наиболее значимыми факторами поиска там выступают язык и местонахождение пользователя. На основании этих критериев и строится поисковая выдача «Гугла». В системе «Яндекс» индексация по языковым признакам не происходит. Несмотря на то, что этот поисковик определяет место нахождения пользователя, он не учитывает этот фактор при обработке запроса. Классифицировать сайты Рунета по регионам в зависимости от языка запроса не получается. «Яндекс» может настраивать поисковую выдачу исключительно по территориальному признаку, в чем и заключается уникальность этой системы.

Не так давно Yandex запустил новый инструмент – поиск «Андромеда». После этого поисковик предлагает определенные места в городах, дает возможность собирать коллекции пользователя, информирует о событиях из мира спорта, отмечает статус интернет-ресурсов особыми значками в зависимости от их благонадежности и популярности. Каким образом новый инструмент может влиять на индексацию, еще не совсем ясно.

Важным нововведением 2018 года является замена показателя ТИЦ (индекс цитирования) на ИКС (индекс качества сайта). Новый показатель необходимо учитывать при продвижении ресурса.

Как проиндексировать сайт в Google

Индексация сайта в Google требует терпения, так как поисковые системы достаточно медлительны. Этот процесс занимает несколько недель, поэтому не затягивайте с добавлением ресурса в поисковик. Даже если на страницах вашего сайта еще не появились записи, его уже можно добавлять в систему выдачи «Гугла».

Для начала нужно создать свой аккаунт в Google (если у вас есть почта Gmail, то можно считать, что аккаунт уже зарегистрирован) и через него получить доступ ко всем инструментам этой системы.

Этапы регистрации сайта в Google:

1. Нужно перейти в раздел «Инструменты веб-мастера» и выбрать «Добавить ресурс». Затем необходимо внести адрес вашего ресурса и нажать «Продолжить».

2. После того как вы будете переадресованы на следующую страницу, следует дать подтверждение своих прав на сайт. Сделать это можно несколькими способами, но наиболее простой – вариант с использованием HTML-файла. В этом случае, согласно п. 1 инструкции «Гугла», нужно закачать такой файл в «корень» сайта. Если операция выполнена без ошибок, то кликнув на ссылку, которая находится в 3 пункте инструкции, вы сможете увидеть содержание ресурса. Если же была допущена неточность, то вы перейдете на страницу 404. Если все нормально, то нужно выбрать пункт «Подтвердить».

3. Для добавления сайта в поисковую систему «Гугл» и ускорения его индексации нужно указать ботам поисковика местонахождение XML-карты ресурса. Сделать это можно в панели управления сайтом, расположенной в инструментах веб-мастера. Здесь следует нажать кнопку «Сканирование» и выбрать подпункт «Файлы Sitemap». После этого переходите по ссылке «Добавление/проверка файла Sitemap» и вносите в строку адрес до карты (к примеру, «ru/sitemap.xml»). Нужно учесть, что доменное имя в этой строке уже будет прописано, поэтому вводить адрес необходимо без него («sitemap.xml»). Затем нужно нажать кнопку «Отправить файл Sitemap». Предварительно этот файл можно проверить на наличие ошибок, нажав кнопку «Проверить Sitemap».

Если все описанные выше шаги выполнены правильно, то ресурс уже будет добавлен в поисковик. Происходит индексация сайта в Google бесплатно, но этот процесс занимает от 7 дней до 3 недель.

Как проверить индексацию сайта в Google

• Применяйте поисковые операторы (специальные символы, добавляемые к запросам).

Поисковые символы обеспечивают уточнение результатов выдачи. К примеру, оператор «site:» позволяет получить данные об ориентировочном числе страниц сайта, прошедших индексацию в Google. Чтобы выполнить такую проверку, следует ввести в строку поиска следующую комбинацию: «site:[url вашего сайта]». В некоторых случаях значительное расхождение результатов выдачи Google и «Яндекса» может быть показателем существующих проблем с сайтом. С помощью дополнительных поисковых инструментов можно получить информацию относительно индексации страниц сайта за необходимый промежуток времени.

• Применяйте плагины и JavaScript-программы, сохраняемые как закладки браузера (букмарклеты).

С помощью таких инструментов можно выполнять проверку индексации в автоматическом режиме. Вам не придется открывать отдельно поисковую систему и вводить запросы в строку поиска.

• Устанавливайте специальные сервисы, проверяющие индексацию.

Такие инструменты значительно облегчают работу SEO-специалистов. Подобных сервисов достаточно много, к примеру связка Netpeak Spider и Netpeak Checker.

С помощью первого инструмента выполняется сканирование. При этом можно получить не только сведения о количестве страниц, прошедших индексацию в Google, но и другие полезные сведения: каноникал, код ответа, название, заголовки, метаописания, мета robots, robots.txt, переходы, ссылки и т. д. Кроме того, Netpeak Spider уведомляет о наличии ошибок в таких данных.

После получение перечня всех URL его можно ввести в Netpeak Checker и выполнить проверку индексации поисковиками.

Проверка индексации сайта в Google может выполняться с помощью следующих инструментов:

1. Оператор «cache:» и индексация страниц.

   Данный оператор используется для получения информации по архивированной копии страницы, которая была проиндексирована сервисом Google. Чтобы увидеть последнюю версию главной страницы вашего ресурса и получить сведения по дате формирования кеша, нужно ввести в поиск запрос cache:google.ru. Вы сможете увидеть последнюю версию страницы с обычным текстом. Это очень удобно, так как можно увидеть сайт таким, каким его видит гугл-бот.

   Запрос «мета тег noarchive» ограничивает доступ других лиц к результатам поиска кеш-версии, но это не скажется на процессе индексации сайта в Google.

2. Оператор «related:» и поиск ресурсов, подобных сайту.

   Оператор «related:» позволяет быстро находить сайты-конкуренты. Этот инструмент используется для ресурсов, которые пересекаются по различным признакам.

Как ускорить индексацию сайта в Google

Индексация сайта в Google, проверить которую позволяют инструменты, описанные в предыдущем разделе, может быть ускорена разными способами:

1. Создание Sitemap.

   Файл Sitemap XML – перечень страниц ресурса, размещенных на сервере хостинга. При добавлении новых страниц сайта этот документ предоставляет соответствующую информацию «Гуглу» и дает инструкции по необходимому режиму проверки изменений. Частота посещения ресурса может быть выбрана веб-мастером. В случае необходимости можно дать команду поисковым роботам выполнять анализ сайта на наличие обновленных данных (товары, записи и т. д.). При отсутствии такой необходимости можно указать другую периодичность проверок. Если сайт работает на платформе «Вордпресс», то для автоматизации процессов формирования и обновления файла Sitemap необходимо установить плагины Google XML Sitemaps или Yoast SEO.

2. Предоставьте Google Indexing Tool свою карту сайта.

   После того как вы создали карту сайта, необходимо перейти в Google Webmaster Tools в аккаунт своей площадки. Если такого аккаунта еще нет, то можно создать бесплатную учетную запись в Google и выполнить регистрацию в сервисе Webmaster Tools. Затем добавляете сайт в «Веб-мастер» и переходите к папке «Сканирование». Здесь необходимо выбрать «Sitemaps» и вставить туда ссылку на свой файл карты сайта. Такое действие позволяет сообщить поисковой системе о новых страницах. Для более эффективного информирования поисковика дополнительно используется консоль Bing. Здесь можно создать еще один аккаунт и включить карту своего ресурса, используя Webmaster Tools. Поисковый робот получает задачу на сканирование с помощью ссылок, поэтому необходимо выполнить проверку файла  robots.txt и убедиться, что нужные страницы сайта открыты для индексации.

3. Используйте Google Analytics.

   

   Сервис Google Analytics применяется для анализа источников трафика и поведения посетителей сайта. Но после добавления кода этого ресурса на страницы вашего интернет-ресурса и настройки аккаунта в аналитической системе «Гугла» происходит уведомление поисковика о появлении новой площадки, которую нужно сканировать.

4. Зарегистрируйте сайт в поисковых системах.

   Раньше эксперты считали, что для индексации сайта системой «Гугл» веб-мастер должен зарегистрировать свой проект и подать заявку. Сейчас же есть некоторые примеры, когда специалисты по SEO-оптимизации выводят сайты на первые страницы поиска без предварительной регистрации. Но для этого нужны специальные знания и навыки. Если у вас их нет, то стоит потратить время на регистрацию своего ресурса в наиболее популярных поисковиках. Для регистрации сайта в Google используйте инструмент Google Search Console.

5. Сделайте внутреннюю перелинковку.

   Чтобы индексация сайта прошла быстрее, стоит провести внутреннюю перелинковку страниц ресурса. Как было отмечено ранее, поисковые боты для перемещения в Интернете используют ссылки. Таким образом, если страницы связаны ссылками, то робот посетит их автоматически. Веб-мастер должен убедиться, что все наиболее важные страницы сайта перелинкованы друг с другом. При правильно организованной структуре ресурса внутренняя перелинковка происходит естественным путем. Для получения более высоких результатов по индексации сайта нужно связать друг с другом как можно больше страниц, поэтому, как только происходит публикация нового контента, не забывайте добавить в него несколько ссылок на другие записи.

6. Своевременно публикуйте качественный и уникальный контент на сайте.

   

   Важно также уделять внимание регулярному появлению на сайте нового материала. Чем чаще это происходит, тем чаще поисковые боты будут посещать ваш ресурс, а значит, увеличится скорость индексации. Стоит создать план появления новых публикаций (1 раз в 3 дня или 2 раза в неделю) и строго придерживаться его. Соблюдение такого графика может увеличить скорость индексации в несколько раз. Поисковые боты будут строго по расписанию посещать сайт для поиска нового контента.

   Именно по этой причине новостные площадки ежедневно публикуют десятки страниц. Такой режим публикаций обеспечивает ежедневное посещение сайта поисковыми роботами «Гугла». Такая же ситуация способствует тому, что в поисковой выдаче очень быстро появляются записи в социальных сетях.

   В погоне за количеством публикаций не стоит забывать о качестве. Низкокачественный контент отрицательно отражается на индексации страниц сайта. Наиболее негативно влияют на этот процесс такие факторы, как:

   • копирование статей с других ресурсов;

   • публикация материалов с большим количеством орфографических и других ошибок;

   • добавление текстов, перенасыщенных ключевыми словами.

   На скорость индексации сайта в Google оказывает влияние и размер публикуемых статей. Их объем должен быть не менее 1,5 тыс. знаков при уникальности от 80–90 %. В каждой статье должна быть хоть одна картинка.

7. Добавьте URL страницы вручную.

   В вопросах ускорения индексации сайта многие администраторы интернет-ресурсов забывают о специальных инструментах «Гугла». Их использование точно не принесет никакого вреда ресурсу и не создаст никаких сложностей веб-мастеру. Нужно только лишь зайти в Google-аккаунт и нажать «Отправить URL» в настройках Webmaster Tools.

8. Создавайте и обновляйте свои социальные профили.

   Ранее уже отмечалась роль ссылок в вопросах привлечения роботов «Гугла» на сайт, поэтому становится очевидной и полезная роль, которую могут сыграть в вопросах индексации соцсети. Зарегистрируете свои профили LinkedIn, Твиттер, Pinterest, «Фейсбук», YouTube и Google+. Задействуйте для продвижения своего ресурса максимальное количество соцсетей. После появления на сайте нового контента обязательно публикуйте ссылку на него в своих социальных сетях.

9. Использование «правила трех кликов». 

   Чтобы ускорить индексацию сайта в Google и улучшить поведенческие факторы интернет-ресурса, для посещения любой страницы нужно сделать не больше трех переходов от главной.

10. Добавьте кнопки социальных сетей на сайт. 

    Для упрощения публикации ссылок на новые материалы в соцсетях следует установить на сайте кнопки таких сетей. Кроме того, посетители ресурса будут пользоваться такими кнопками, что увеличит посещаемость интернет-площадки.

11. Разместите ссылки на новую страницу на внешних ресурсах.

    Процесс индексации сайта в Google можно ускорить с помощью наполнения блога, публикации статей, пресс-релизов, постов пользователей и других видов линкбилдинга.

12. Создайте RSS-канал.

    RSS-канал не является обязательным элементом, но он не помешает индексации сайта в Google. RSS (с английского Rich Site Summary – «обогащенная сводка сайта») – семейство XML-форматов, которые используются для описания новостных лент, анонсов публикаций, изменений в блогах и др.

    Это еще один простой способ уведомления поисковиков об обновлениях сайта, но сегодня этот инструмент считается устаревшим. Тем не менее RSS-канал помогает передать поисковым системам сведения о новом материале сразу же после его появления на сайте.

13. Отслеживайте ошибки индексации (о них будет рассказано ниже).

    

    Достаточно сложно избежать ошибок, мешающих индексации сайта в Google. Часто они связаны с внесением значительных изменений в структуру сайта – с добавлением/удалением и перемещением различных страниц.

    Для отслеживания ошибок используется Google Search Console.

Теперь вы знаете о многих методах ускорения индексации сайта в Google. Стоит отметить, что некоторые способы помогут привлечь целевую аудиторию на вашу площадку.

Почему не индексируется сайт в Google

Причины могут быть разными. Рассмотрим наиболее часто встречающиеся:

1. Новый сайт. В этом случае нужно только терпение и время. Не все страницы нового ресурса сразу попадают в индекс «Гугла». Иногда процесс индексации может растянуться на несколько месяцев.

2. Отсутствие карты сайта (файл Sitemap). Профессионально составленная карта сайта помогает поисковым ботам быстрее сканировать страницы сайта. Ссылка на файл «Сайтмеп» должна быть добавлена в панель веб-мастеров.

3. Ошибки на страницах сайта. В панели для веб-мастеров «Гугл» постоянно уведомляет собственников интернет-ресурсов о появляющихся ошибках. Если есть проблема с индексацией сайта в Google, посмотрите, какие ошибки находит поисковый бот, и исправьте их.

4. Ошибка с метатегом robots. Она может появиться из-за неправильного изменения настроек CMS или хостинга. В коде интернет-страниц в этом случае появится строка: <meta name="robots" content="noindex, follow» />

5. Ошибка с robots.txt. Такая ошибка является следствием рекомендаций закрывать в robots.txt все ненужное. Но всего лишь один лишний символ способен закрыть страницу или даже сайт от индексации. При неправильном закрывании от поисковой системы части сайта можно случайно прихватить и другие разделы ресурса. Если ресурс закрыт для индексации, в файле robots.txt можно обнаружить тег: User-agent: * Disallow: /

Проблемы с индексаций сайта в Google могут возникнуть также под влиянием следующих факторов:

• дубли страниц;

• недостаточный процент уникальности контента;

• затрудненный доступ к страницам и длительное время их загрузки.

Скачайте полезный документ:

Чек-лист: Как добиваться своих целей в переговорах с клиентами

Часто проблема заключается не в самой индексации, а в методах оптимизации сайта. Чтобы ваш ресурс быстро индексировался в Google, нужно лучше конкурентов удовлетворять запросы пользователей. При таком подходе все, что описано в этом материале, понадобится только для фиксации качественного результата.

Как отключить индексацию сайта в Google

Нужно отметить, что посещение и сканирование станиц ресурса роботами не может быть гарантией их попадания в индекс. В некоторых случаях стоит закрывать определенные страницы от индексации (к примеру, URL с техническими GET-параметрами, служебные файлы и материалы посетителей).

Каждый интернет-ресурс должен иметь:

1. Sitemap.xml – файл, упрощающий сканирование страниц гугл-ботами с учетом приоритетов, заданных веб-мастером. Этот файл располагается в «корне» сайта.

2. Robots.txt – файл, который задает ботам поисковиков правила и характеристики обхода страниц:

   • команда Disallow позволяет закрывать от индексации отдельные URL или разделы сайта;

   • Crawl delay – указывает ботам минимальное время обращения к серверу, что предотвращает возникновение чрезмерных нагрузок на онлайн-площадку.

Автор статьи

Дмитрий Свистунов

Руководитель SEO-отдела и разработки

Статья опубликована: 26.06.2019

Последние статьи этого автора:

• Адаптивная верстка сайта: гайд для начинающих
• Анкор ссылки: виды, правила составления, влияние на продвижение
• Белая раскрутка сайта без перехода на темную сторону

Забрать подарки
из закрытой базы

Скачать 7,4 MB

Полезные
материалы
для руководителей

Скачать 3,2 MB