Как закрыть сайт от индексации? - DigitalMust

Зачем закрывать сайт или страницу от индексации

Индексация происходит автоматически с помощью специальных поисковых роботов (их еще называют пауками). Они постоянно отслеживают новые сайты в интернете, сканируют их, а также оценивают ключевые запросы, структуру, текст, метатеги и т.д..

То, что боты проиндексировали, попадает в базу данных. После этого веб-сервис начинает отображаться в выдаче. Но на этом все не заканчивается. Периодически робот посещает его, сканирует и добавляет в базу новые страницы. Если на них обнаружатся технические ошибки, они могут быть удалены из индекса.

И вот в каких случаях нужен запрет индексации:

Не предназначен для широкого круга лиц. Технические, административные и персональные данные;
Сайт еще в разработке или на нем происходят изменения. В этом случае вы ничем не сможете привлечь пользователей, поэтому на этой стадии его лучше скрывать. Недоработанный контент может “потопить” вас еще в начале пути;
На отдельном домене создается мобильная версия. В процессе могут появиться дубли, которые фиксируют поисковые системы;
Площадка тестируется на другом домене. В этом случае также создаются дубликаты.

Когда нужно закрывать весь сайт, а когда — только часть

Если на странице есть служебная информация, а к сайту вопросов нет, то закрывайте от индексации поисковыми системами только эту страницу. Или если там содержится неактуальная информация (скидки, акции, старые новости и события). Лучше скрывать баннеры, всплывающие окна и скрипты. Маленькие сайты-визитки не требуют закрытия отдельных страниц.

Что можно закрыть:

формы заказа и корзину
каптча
служебные разделы сайта
сравнение товаров
облако тегов
дубликаты страниц
всплывающие окна и баннеры
формы регистрации
административная панель
поиск на сайте
форма для ввода информации
отдельный абзац или ссылка
избранное
идентификаторы сессий
страницы профилей и регистраций пользователей
служебные каталоги