Как закрыть сайт от индексации: подробная инструкция от А до Я
От набора текста в поисковой строке до получения ответа проходит всего несколько секунд. Поисковые системы выдают результаты по любому интересующему вопросу почти моментально. Эта скорость достигается благодаря заранее собранной базе данных — индексу.
Индексация — это процесс сбора информации поисковой системой о содержимом вашего ресурса. Прежде, чем попасть в поисковик, он проходит индексирование. Казалось бы, индексация — это хорошо, благодаря ей вас видят пользователи. Но иногда возникает необходимость закрыть сайт от индексации. Ниже объясняем почему, зачем и как.
Зачем закрывать сайт или страницу от индексации
Индексация происходит автоматически с помощью специальных поисковых роботов (их еще называют пауками). Они постоянно отслеживают новые сайты в интернете, сканируют их, а также оценивают ключевые запросы, структуру, текст, метатеги и т.д.
То, что боты проиндексировали, попадает в базу данных. После этого веб-сервис начинает отображаться в выдаче. Но на этом все не заканчивается. Периодически робот посещает его, сканирует и добавляет в базу новые страницы. Если на них обнаружатся технические ошибки, они могут быть удалены из индекса.
И вот в каких случаях нужен запрет индексации:
- Не предназначен для широкого круга лиц. Технические, административные и персональные данные;
- Сайт еще в разработке или на нем происходят изменения. В этом случае вы ничем не сможете привлечь пользователей, поэтому на этой стадии его лучше скрывать. Недоработанный контент может “потопить” вас еще в начале пути;
- На отдельном домене создается мобильная версия. В процессе могут появиться дубли, которые фиксируют поисковые системы;
- Площадка тестируется на другом домене. В этом случае также создаются дубликаты.
Когда нужно закрывать весь сайт, а когда — только часть
Если на странице есть служебная информация, а к сайту вопросов нет, то закрывайте от индексации поисковыми системами только эту страницу. Или если там содержится неактуальная информация (скидки, акции, старые новости и события). Лучше скрывать баннеры, всплывающие окна и скрипты. Маленькие сайты-визитки не требуют закрытия отдельных страниц.
Что можно закрыть:
- формы заказа и корзину
- каптча
- служебные разделы сайта
- сравнение товаров
- облако тегов
- дубликаты страниц
- всплывающие окна и баннеры
- формы регистрации
- административная панель
- поиск на сайте
- форма для ввода информации
- отдельный абзац или ссылка
- избранное
- идентификаторы сессий
- страницы профилей и регистраций пользователей
- служебные каталоги
Как закрыть сайт от индексации
Есть такие способы:
- Закрыть сайт от индексации robots.txt. Именно он отвечает за индексацию всего ресурса, отдельных страниц и папок. Его можно найти в корневой папке. Но если вы его не обнаружили, то можно воспользоваться другим способом. Откройте любой текстовый редактор, создайте файл robots и расширением .txt. Затем введите команду:
User-agent: *
Disallow: /
и переносите ее в нужную директорию.
- Мета-тег robots. Он прописывается в области heard HTML-кода и имеет content, значения которого являются настройками. Noindex — это запрет, index — разрешение на индексирование. Для этого нужно прописать в шаблоне:
С помощью этих инструментов закрывается индексирование как от Яндекса, так и от Google.
Как закрыть страницу сайта от индексации
- Если возникает необходимость проиндексировать весь сайт, исключив часть, нужно добавить в раздел <heard> страницы строку кода: <noindex>текст, который не нужно индексировать<noindex>:
- Ссылку от поисковиков можно скрыть с помощью nofollow: <a href=”url” rel=nofollow>текст ссылки</a>
- Чтобы запретить индексировать весь контент, добавьте строку: <meta name=”robots” content=noindex, nofollow”/> или <meta name=”robots” content=”none”/>
Как проверить, есть ли индексация сайта
Через панель Яндекс.Вебмастера:
- авторизуйтесь в аккаунте Яндекса
- войдите в сервис Вебмастер
- введите url ресурса
- нажмите кнопку “добавить”
- перейдите в панель и нажмите кнопку “индексировать”, затем — “страницы в поиске”
Там будут представлены все страницы, которые участвуют в поиске Яндекса. Также можно увидеть количество загруженных и проиндексированных страниц в разделе “Мои сайты”.
Через Google Search Console:
- авторизуйтесь в аккаунте Google
- войдите в сервис search.google.com
- введите url ресурса
- нажмите кнопку “добавить ресурс”
- пройдите процедуру подтверждения прав на сайт
- в панели вебмастера перейдите во вкладку “индекс” — “покрытие”
Обратите внимание, что в отчете показана статистика после последнего обхода. Это значит, что информация примерная.
В поисковой системе с помощью операторов. В строке поиска введите оператор site.
- site:domen.ru
С помощью online-сервисов. Можно воспользоваться сервисами:
- a.pr.cy.ru
- seogadget.ru
- xseo.in
- Бесплатно: Site-Auditor
- Платно: Semonitor
Как проверить, есть ли индексация страницы
Через Яндекс.Вебмастер:
- выберите пункт “индексирование”, затем — “проверить статус URL”
- в поле ввода укажите url страницы
- нажмите кнопку “проверить”
- перейдите во вкладку “проверка url”
- введите url страницы
- url:адрес_страницы
- или info:адрес_страницы