Как закрыть сайт от индексации: подробная инструкция от А до Я

От набора текста в поисковой строке до получения ответа проходит всего несколько секунд. Поисковые системы выдают результаты по любому интересующему вопросу почти моментально. Эта скорость достигается благодаря заранее собранной базе данных — индексу.

Индексация — это процесс сбора информации поисковой системой о содержимом вашего ресурса. Прежде, чем попасть в поисковик, он проходит индексирование. Казалось бы, индексация — это хорошо, благодаря ей вас видят пользователи. Но иногда возникает необходимость закрыть сайт от индексации. Ниже объясняем почему, зачем и как.

Зачем закрывать сайт или страницу от индексации 

Индексация происходит автоматически с помощью специальных поисковых роботов (их еще называют пауками). Они постоянно отслеживают новые сайты в интернете, сканируют их, а также оценивают ключевые запросы, структуру, текст, метатеги и т.д. 

То, что боты проиндексировали, попадает в базу данных. После этого веб-сервис начинает отображаться в выдаче. Но на этом все не заканчивается. Периодически робот посещает его, сканирует и добавляет в базу новые страницы. Если на них обнаружатся технические ошибки, они могут быть удалены из индекса.

И вот в каких случаях нужен запрет индексации:

  • Не предназначен для широкого круга лиц. Технические, административные и персональные данные;
  • Сайт еще в разработке или на нем происходят изменения. В этом случае вы ничем не сможете привлечь пользователей, поэтому на этой стадии его лучше скрывать. Недоработанный контент может “потопить” вас еще в начале пути;
  • На отдельном домене создается мобильная версия. В процессе могут появиться дубли, которые фиксируют поисковые системы;
  • Площадка тестируется на другом домене. В этом случае также создаются дубликаты.

Когда нужно закрывать весь сайт, а когда — только часть

Если на странице есть служебная информация, а к сайту вопросов нет, то закрывайте от индексации поисковыми системами только эту страницу. Или если там содержится неактуальная информация (скидки, акции, старые новости и события). Лучше скрывать баннеры, всплывающие окна и скрипты. Маленькие сайты-визитки не требуют закрытия отдельных страниц.

Что можно закрыть:

  • формы заказа и корзину
  • каптча
  • служебные разделы сайта
  • сравнение товаров
  • облако тегов
  • дубликаты страниц
  • всплывающие окна и баннеры
  • формы регистрации
  • административная панель 
  • поиск на сайте 
  • форма для ввода информации 
  • отдельный абзац или ссылка
  • избранное
  • идентификаторы сессий 
  • страницы профилей и регистраций пользователей
  • служебные каталоги  

Как закрыть сайт от индексации

Есть такие способы:

  • Закрыть сайт от индексации robots.txt. Именно он отвечает за индексацию всего ресурса, отдельных страниц и папок. Его можно найти в корневой папке. Но если вы его не обнаружили, то можно воспользоваться другим способом. Откройте любой текстовый редактор, создайте файл robots и расширением .txt. Затем введите команду:

     User-agent: *

      Disallow: /

и переносите ее в нужную директорию.

  • Мета-тег robots. Он прописывается в области heard HTML-кода и имеет content, значения которого являются настройками. Noindex — это запрет, index — разрешение на индексирование. Для этого нужно прописать в шаблоне:

С помощью этих инструментов закрывается индексирование как от Яндекса, так и от Google. 

Как закрыть страницу сайта от индексации

  • Если возникает необходимость проиндексировать весь сайт, исключив часть, нужно добавить в раздел <heard> страницы строку кода: <noindex>текст, который не нужно индексировать<noindex>:
  • Ссылку от поисковиков можно скрыть с помощью nofollow:  <a href=”url” rel=nofollow>текст ссылки</a>
  • Чтобы запретить индексировать весь контент, добавьте строку:  <meta name=”robots” content=noindex, nofollow”/> или <meta name=”robots” content=”none”/>
Но помните, что использование метатегов не дает вам гарантию полного закрытия от индексации. Поэтому после того, как отредактировали код, проверьте сколько страниц проиндексировано. Это можно сделать с помощью панели вебмасеров. 

Если количество осталось прежним, зайдите в админ-панель в файл .htaccess. Так можно дополнительно закрыть веб-сервис от роботс. В открытом файле в последних строках пропишите команды:

Как проверить, есть ли индексация сайта

Через панель Яндекс.Вебмастера: 

  • авторизуйтесь в аккаунте Яндекса 
  • войдите в сервис Вебмастер 
  • введите url ресурса 
  • нажмите кнопку “добавить”
  • перейдите в панель и нажмите кнопку “индексировать”, затем — “страницы в поиске”

Там будут представлены все страницы, которые участвуют в поиске Яндекса. Также можно увидеть количество загруженных и проиндексированных страниц в разделе “Мои сайты”.  

Через Google Search Console:

  • авторизуйтесь в аккаунте Google 
  • войдите в сервис search.google.com
  • введите url ресурса 
  • нажмите кнопку “добавить ресурс”
  • пройдите процедуру подтверждения прав на сайт
  • в панели вебмастера перейдите во вкладку “индекс” — “покрытие”

Обратите внимание, что в отчете показана статистика после последнего обхода. Это значит, что информация примерная.

В поисковой системе с помощью операторов. В строке поиска введите оператор site. 

  • site:domen.ru

С помощью online-сервисов. Можно воспользоваться сервисами: 

  • a.pr.cy.ru
  • seogadget.ru
  • xseo.in
С помощью специальных программ. Есть программы для анализа сайта и проверки страниц в индексе. 
  • Бесплатно: Site-Auditor
  • Платно: Semonitor
Скачайте программу и в строку url введите адрес проверяемого сайта. 

Как проверить, есть ли индексация страницы

Через Яндекс.Вебмастер:

  • выберите пункт “индексирование”, затем — “проверить статус URL”
  • в поле ввода укажите url страницы 
  • нажмите кнопку “проверить” 
При помощи Google Search Console:
  • перейдите во вкладку “проверка url”
  • введите url страницы 
С помощью оператора. В поисковой строке браузера введите:
  • url:адрес_страницы
  • или info:адрес_страницы
Вас также может заинтересовать наша статья о хэштегах.