Сайт закрыт от индексации: это не повод для паники

Согласитесь, сегодняшняя тема довольна необычна. Если вы – начинающий интернет-предприниматель, то больше всего вас интересует трафик на ваш сайт и появление его страниц в поисковиках. Почему же иногда сайты специально закрывают от индексации? Попробуем объяснить, что значит – сайт закрыт от индексации.

Сайт закрыт от индексации – что это значит

На страницы сайта заходит поисковой робот (виртуальная программа) и считывает размещенную на них информацию. После этого она подлежит занесению в базы данных поисковиков и ранжированию.

Есть два способа, с помощью которых поисковой робот узнает о новом веб-ресурсе: через ссылку, размещенную на одном из известных сайтов, либо в случае самостоятельного добавления веб-мастером своего сайта в индексацию.

Посещения робота являются периодическими, в связи с этим актуальность индексации сайта всегда высокая. То есть о внесении изменений на страницы вашего сайта или добавлении новых страниц робот быстро узнает, и информация будет учтена.

Для обеспечения успешного прохождения поисковой индексации и ее высокого качества необходимо соблюдение следующих требований:

1. Следует обеспечить постоянный доступ к сайту. Если робот, проводящий индексацию, зайдет на сайт, доступ к которому закрыт, то страница в поиск не попадет. Неоднократное повторение таких ситуаций приведет к снижению траста сайта.

2. Необходимо обеспечить быструю загрузку страниц сайта. Ситуация с медленной загрузкой страниц аналогична ситуации, в которой к ним нет доступа.

3. Качество контента, публикуемого на сайте, должно быть высоким. Если вы не позаботитесь о качестве содержимого страниц, то после индексации могут быть наложены фильтры, в результате чего они будут исключены из поиска.

4. Чем чаще будут выкладываться новые материалы, тем более частыми будут посещения поискового робота, а индексация страниц – более быстрой. Соответственно, в случае редких публикаций индексация будет более медленной.

По какой причине может быть сайт закрыт от индексации?

Например, вы только приступаете к разработке сайта, внося изменения в него напрямую. На этом этапе ресурс и его содержимое не такие, какими их предполагается преподнести в итоге пользователям. Поэтому разумно закрыть страницы сайта от индексации в Google и Яндекс до окончания работ над ним.

Что именно на сайте необходимо закрывать от индексации

Сайт будет проиндексирован, а страницы ранжированы хорошо, если поисковая система обойдет ключевые страницы сайта, нуждающиеся в продвижении, и при этом сумеет точно определить, какой контент является основным.

Сайты, которые нам приходится анализировать, имеют ошибки двух типов:

• Продвигая свой ресурс, владельцы не вникают, какие данные видит и добавляет в индекс поисковый робот. Это приводит к заполнению индекса ненужными страницами (а не продвигаемыми) и их перегрузке.

• Противоположная ситуация: излишняя чистка сайта. Помимо ненужных данных, могут оказаться недоступными и те, которые важны для продвижения и оценки страниц.

Рассмотрим, что на самом деле не должны видеть поисковые роботы, и как лучше прятать информацию:

Контент

Оценка страниц поисковыми роботами является комплексной и для нее используются не только текстовые показатели. Закрывая различные блоки, можно спрятать сведения, которые, наоборот, помогают оценивать и ранжировать страницы.

Какие ошибки наиболее распространены:

1. Прячут шапку сайта. Как правило, в ней указываются контакты, ссылки. Закрытие шапки повышает вероятность того, что поисковая система не узнает о наличии на вашем сайте размещенной на видном месте важной информации.

2. Закрывают от индексации фильтры, форму поиска, сортировку. Если интернет-магазин имеет такие возможности, то лучше их не скрывать, ведь это важный коммерческий показатель.

3. Закрывают доступ к данным об оплате и доставке. Это один из способов повышения уникальности на карточках товара. Тем не менее, без этой информации карточка не может быть качественной.

4. Убирают со страниц меню. Как следствие, навигация по сайту может быть оценена как неудобная.

С какой целью часть содержимого сайта закрывают?

• Хотят акцентировать внимание именно на основном контенте странице, для чего убирают из индекса вспомогательные данные, служебные блоки, меню.

• Стремятся повысить уникальность страницы, ее полезность, для чего закрывают блоки-дублеры.

• Хотят убрать «лишний» контент, добиться более высокой текстовой релевантности страницы.

Однако эти цели вполне достижимы и без закрытия части контента!

• Ваше меню очень большое?

Выходом будет выведение на страницах лишь непосредственно относящихся к разделу пунктов.

• В фильтрах много возможностей выбора?

Тогда в основном коде нужно выводить только популярные, а остальные загружать только по требованию посетителя нажатием кнопки «показать все». Да, предполагается использование скриптов, но ведь вы не обманываете пользователя. Поисковый робот сможет увидеть все пункты, однако значение их будет оценено не так, как основных.

• Новостной блок имеет слишком большие размеры?

Выкладывайте меньше новостей, либо публикуйте только заголовки, либо вовсе избавьтесь от этого блока, если пользователи им не интересуются или на странице мало основного контента.

Поисковики не идеальны, однако становятся все более совершенными. В настоящее время Google, если обнаруживает скрытые от индексации скрипты, выдает ошибку в панели Google Search Console (вкладка «Заблокированные ресурсы»).

Закрывать доступ роботам к части содержимого сайта иногда полезно, но это не позволит оптимизировать сайт. Использовать такой способ можно лишь в случае крайней необходимости.

Что можно посоветовать:

1. Рассматривайте скрытие информации в качестве «костыля», и прибегайте к нему в крайних случаях. Лучше доработать саму страницу.

2. Когда удаляете что-либо со страницы, ориентируйтесь не только на текстовые показатели. Не забывайте об оценке удобства и информации, оказывающей влияние на коммерческие факторы ранжирования.

3. Перед скрытием контента поэкспериментируйте на нескольких тестовых страницах. Поисковые боты способны разбирать страницы, поэтому может оказаться, что вы напрасно боитесь снижения релевантности.

Рассмотрим используемые для скрытия содержимого сайтов методы:

Noindex

Имеет ряд недостатков. Во-первых, с помощью этого тега можно скрыть контент только от Яндекса, а закрыть доступ к тексту Google невозможно.

Кроме того, возможен запрет на индексацию и включение в выдачу поисковика только текстовых данных. Применительно к другим данным (например, ссылкам) он не действует. Это видно из описания тега в справке Яндекса.

Техподдержка Яндекса не раскрывает, как работает noindex. Немного больше можно об этом узнать из обсуждения в официальном блоге.

Когда целесообразно использовать тег:

• если вы подозреваете, что позиция страницы в Яндексе занижена вследствие переоптимизации, хотя в поисковой выдаче Google по ключевым фразам находится вверху. Но знайте, это быстрое и временное решение. В случае попадания под «Баден-Баден» всего сайта noindex проблему не решит. Об этом говорят и представителя Яндекса;

• в целях скрытия общей служебной информации, не указать которую на странице вы не можете, не нарушив корпоративных или юридических нормативов;

• чтобы откорректировать сниппеты в Яндексе в случае попадания в них нежелательного контента.

AJAX

Метод отличается универсальностью. Применяется для скрытия информации и от Яндекса, и от Google. Это лучший способ чистки сайта от размывающего релевантность контента. Поисковые системы такой метод не одобряют. Для них желательно, чтобы поисковые роботы имели доступ к тому же контенту, что и посетители.

Очень многие используют технологию AJAX. Если не заниматься откровенным клоакингом, то санкций за это можно избежать. Минусом метода является необходимость закрытия доступа к скриптам, хотя поисковики не рекомендуют этого делать.

Страницы сайта

Чтобы успешно продвигать сайт, следует не только почистить страницы от лишнего контента, но и исключить из поискового индекса сайта «мусор» - страницы, не несущие пользы. Благодаря этому продвигаемые страницы будут индексироваться более быстро. Кроме того, если в индексе будет много мусорных страниц, то это плохо скажется на оценке ресурса и его продвижении.

Какие страницы следует прятать:

• страницы оформления заказов, корзины пользователей;

• результаты поиска по сайту;

• личные данные пользователей;

• страницы результатов сравнения товаров и других модулей вспомогательного характера;

• страницы, генерируемые фильтрами поиска и сортировкой;

• страницы административной части сайта;

• версии для печати.

Какие есть способы закрытия страниц от индексации:

Rtxt

Метод не очень хорош. Во-первых, файл robots не может бороться с дублями и чистить сайты от мусорных страниц. Во-вторых, robots закрыть сайт от индексации позволяет не всегда.

Noindex

Использование этого метатега делает возможным гарантированное исключение страниц из индекса.

Синтаксис у Яндекса и Google различен.

Вот метатег, который понимают оба поисковика:

<meta name="robots" content="noindex, nofollow">

Googlebot будет видеть метатег noindex, если доступ к страницам, закрытым в файле robots.txt, будет закрыт. В противном случае бот, возможно, даже не посетит эти страницы.

Защита с помощью пароля

Этот способ следует применять для скрытия конфиденциальных данных. Google выделяет его как отличающийся надежностью.

Если надо закрыть доступ ко всему сайту (к примеру, к тестовой версии), то этот метод подойдет как нельзя лучше. Но и он несовершенен – вы можете столкнуться с трудностями, если понадобится просканировать запароленный домен.

AJAX

Это метод не просто для исключения из индекса страниц, которые генерируются фильтрами, сортировкой и т.д., а для исключения возможности их создания.

К примеру, если посетитель выбрал в фильтре нужные параметры, под которые нет отдельной страницы, то при изменении отображаемых на странице товаров непосредственно URL изменяться не будет.

Этот способ непростой, поскольку невозможно его применение одновременно для всех случаев. Часть формируемых страниц используется для продвижения.

К примеру, страницы, генерируемые фильтрами. Для «холодильник + Samsung + белый» страница необходима, а для «холодильник + Samsung + белый + двухкамерный + no frost» – уже нет. В связи с этим нужен инструмент для создания исключений. Это делает работу программистов более сложной.

Методы запрета индексации от поисковых алгоритмов

1. «Параметры URL» в Google Search Console.

   С помощью этого инструмента можно установить способ идентификации появления в URL страниц новых параметров.

   

2. Директива Clean-param вtxt.

   Для прописывания аналогичного запрета для параметров URL в Яндексе используется директива Clean-param.

Инструменты точечного удаления страниц

При необходимости срочного удаления данных из индекса и невозможности ждать, пока запрет увидят поисковые роботы, применяют инструменты из панели Яндекс Вебмастер и Google Search Console.

В Яндексе это «Удалить URL»:

В Google Search Console - «Удалить URL-адрес»:

Внутренние ссылки

Запрет на индексирование внутренних ссылок делают с целью перераспределить внутренний вес на ключевые продвигаемые страницы. Однако нужно помнить:

• такое перераспределение негативно сказывается на общих связях между страницами;

• ссылки из шаблонных сквозных блоков, как правило, меньше весят или вовсе не подвергаются учету.

Какими способами можно скрывать ссылки:

Noindex

Этот тег можно использовать только для запрета доступа к текстовому контенту. Ссылки с помощью него не скрыть.

Атрибут rel=”nofollow”

В настоящее время с его помощью невозможно сохранение веса на странице. Использование rel=”nofollow” ведет к потере веса, поэтому использовать этот тег для внутренних ссылок нелогично. Googlе не рекомендует обращаться к этому инструменту.

Скрипты

Этот метод действительно позволяет прятать ссылки от поисковиков. Возможно использование Аjax и подгрузки блоков ссылок уже после загрузки страницы либо добавление ссылок с подменой тега <span> на <a> скриптом, однако помните, что поисковым алгоритмам под силу распознавание скриптов.

Аналогично ситуации с контентом – это «костыль», прибегать к помощи которого стоит не всегда. Если нет уверенности в целесообразности скрытия блока ссылок, то откажитесь от использования подобных методов.

Как полностью закрыть сайт на Wordpress от индексации

Четыре действенных способа для Wordpress.

Способ 1. Через встроенную функцию в WordPress

Удаление ресурса из поисковиков – процесс несложный. Осуществляется он с помощью встроенной функции в WordPress «закрыть сайт от индексации» и сканирования. Для этого:

1. На панели управления администратора зайдите в Настройки, выберите Чтение.

2. Найдите опцию «Видимость для поисковых систем». Поставьте галочку напротив «Попросить поисковые системы не индексировать сайт». Когда опция включится, файл txt подвергнется редактированию в соответствии с новыми правилами.

3. Нажмите «Сохранить изменения», чтобы они вступили в силу.

Способ 2. Закрыть сайт от индексации через robots.txt

Если вам больше по душе делать все вручную, то можно самим заняться редактированием данного файла. Результат будет аналогичен. С помощью файла Роботс закрыть сайт от индексации нетрудно:

1. Для доступа к файлам вашего сайта используйте Файловый менеджер или FTP-клиент.

2. Найдите файл txt. Его местонахождение – папка, где расположен и WordPress (как правило, public_html). Если найти файл не получается, можно создать пустой.

3. Закрыть сайт от индексации поисковиков можно, введя следующий синтаксис:

Первый код позволяет предотвратить как сканирование, так и индексацию вашего ресурса. Этот код в файле robots.txt – сигнал для поисковиков о том, что сканировать сайт запрещено.

Способ 3. Защита сайта паролем с помощью контрольной панели вашего хостинга

Поисковикам и поисковым роботам доступ к файлам, которые защищены паролем, закрыт. Существуют следующие способы защиты файлов паролем:

Если вы – клиент Hostinger, то для включения функции защиты паролем вам нужно использовать инструмент, который называется «Защита Папок Паролем».

1. Войдите в контрольную панель Hostinger и нажмите иконку Защита Папок Паролем.

   

2. Слева отобразятся каталоги. Укажите те, которые нуждаются в защите. В нашем случае WordPress установлен в 

3. Выбрав каталог, введите имя пользователя и пароль в панели справа, нажмите «Защитить».

   

Процесс будет аналогичным и в случае использования cPanel. Потребуется:

1. Войти в учетную запись cPanel и нажать Конфиденциальность каталога.

   

2. Выбрать папку установки WordPress. Как правило, это

3. Выбрать опцию «Защитить этот каталог паролем». После нужно ввести имя каталога и нажать «Сохранить». С помощью формы создать учетную запись пользователя для доступа к защищенным каталогам. После нажать «Сохранить».

   

Способ 4. Запаролить сайт, используя плагин

Получить аналогичный результат можно, установив плагины. Есть много плагинов, которые можно использовать в таких целях. Стоит выделить следующие: Password Protected Plugin, WordFence. Ваша задача – выбрать наиболее свежий и установить его.

После установки нужно будет зайти в настройки плагина и установить пароль для сайта. После того как вы защитите ваш ресурс паролем, доступ поисковикам к нему закроется. Соответственно, индексация ими сайта станет невозможной.

Как закрыть сайт от индексации на Opencart

Защитить от индексации поисковых систем сайт на Opencart невозможно, просто выключив в админке самого интернет-магазина! Посещение вашего закрытого сайте поисковыми роботами продолжится. Они будут тащить его в индекс, что негативно скажется на продвижении.

Хороший выход – закрыть доступ к сайту, отредактировав файл robots.txt. Понадобится удалить все, оставив только пару строк из всего содержимого этого файла.

Как запретить индексирование поисковыми роботами веб-ресурса:

Как в Битрикс закрыть сайт от индексации

Для этого нужно использовать метатег <meta name="robots" content="noindex, nofollow">. Для скрытия какой-либо страницы от индексирования нужно, добавляя или изменяя условия, выбрать пункт «Закрыть от индексации».

Кроме того, возможно отключение индексации всех страниц с подключенным компонентом sotbit:seo.meta. Для этого нужно зайти в общие настройки модуля SEO умного фильтра и включить опцию «Отключить индексацию всех страниц».

Приоритетными будут настройки индексации в условии, а не эта опция. То есть в случае отключения в настройках условия опции «Закрыть от индексации» страница, удовлетворяющая этому условию, будет проиндексирована.

Как закрыть на сайте от индексации папки, файлы, картинки и поддомен

• Закрыть от индексации отдельную папку

Если папка отдельная, то можно закрыть к ней доступ поисковикам опять же в файле robots.txt, явно указав ее (закроется доступ ко всему содержимому этой папки).

User-agent: *
Disallow: /folder/

Если папка закрыта, а какой-либо файл из нее вы желаете проиндексировать, то вам нужно применить одновременно оба правило Allow и Disallow:

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

• Закрыть от индексации файл

Процесс аналогичный.

User-agent: Yandex
Disallow: /folder/file.php

При необходимости закрытия файла в Google в анкете нужно указать, как он называется.

• Закрыть от индексации картинки

Чтобы закрыть доступ к изображениям форматов jpg, png и gif, используйте следующие команды:

User-Agent: *
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif

• Закрыть от индексации поддомен

В основном, каждый поддомен веб-ресурса имеет свой файл robots.txt. Как правило, его местонахождением является папка, корневая для поддомена. Необходима корректировка содержимого файла: нужно указать разделы, которые хотите закрыть, используя для этого директорию Disallow. Если файла нет, нужно создать его.

Скачайте полезный документ:

Чек-лист: Как добиваться своих целей в переговорах с клиентами

2 варианта, как проверить закрыт сайт от индексации или нет

• Вариант №1. С помощью расширения

Если вы пользуетесь браузером Сhrome, то установите расширение NoFollow Simple. Если же вы используете другой браузер, то понадобится установка именно Сhrome.

После установки нужно открыть его и кликнуть на значок в верхнем правом углу левой клавишей мышки. В раскрывшемся списке инструментов выбрать Расширения.



Снизу этой страницы ищем Еще расширения, кликаем на них. Открывается страница интернет-магазина Сhrome. Не пугайтесь, там есть и бесплатные вещи. Смело вбивайте в поиск «Сhrome расширение NoFollow Simple», скачивайте и включайте его.

В дальнейшем благодаря этому расширению, загружая любой сайт, вы будете видеть такое изображение:



В красной рамке будут ссылки, индексация которых поисковыми роботами не была проведена.

Как видите, ничего сложного!

Читайте также!

«Анализ юзабилити сайта: этапы, инструменты, ошибки» Подробнее

• Вариант №2. С помощью кода страницы

Если вы хотите избежать установок, а индексацию ссылки знать нужно, вам подойдет следующий вариант. Ссылку для определенной страницы любого сайта из любого браузера можно проверить с помощью кода страницы.

Переходите на эту страницу, кликнув правой клавишей мышки, выбирайте Просмотр кода страницы или Исходный код (это зависит от браузера).



Когда страница откроется, нужно нажать F3 и ввести в открывшееся окошко нужную ссылку. Как в примере ниже.



Она выделилась оранжевым цветом. Перед ней стоит параметр rel=”nofollow”. Это говорит о том, что ссылка недоступна для индексирования. Если вам нужна ссылка, прошедшая индексацию, этого параметра быть не должно.

Забрать гарантированный подарок

Полезные
материалы
для руководителей

Скачать 3,2 MB