Измените языковые настройки Топвизор для работы с сервисом на родном языке. Вы также сможете выбрать и установить язык интерфейса позже в настройках Аккаунта. Измените языковые настройки Топвизор для работы с сервисом на родном языке. ru Русский Выбрать

Как закрыть сайт от индексации дублей в Яндексе

Как закрыть сайт от индексации дублей в Яндексе

Вопрос читателя: «Как закрыть сайт от индексации дублей? В robots.txt прописано всё, что только можно, но всё равно Яндекс в Вебмастере присылает сообщения, что есть одинаковые заголовки и описания страниц».

У Яндекса есть проблема с задержкой в отчётах. Он может присылать сообщения о старых страницах, которых уже нет на сайте. Даже если они выдают 404-ю ошибку, он всё равно будет о них помнить.

Помимо того, что я закрываю страницы в файле robots.txt, нужно предпринять и другие действия:

  1. Выгрузить все страницы сайта, которые сейчас в индексе: перейти в Яндекс.Вебмастер → Индексирование → Страницы в поиске. Там перейти в раздел «Все страницы» и выгрузить их в Excel. С этого списка отобрать страницы, которых не должно быть в индексе.

  2. Открыть инструмент удаления страниц в Яндекс.Вебмастере:  Инструменты → Удаление страниц из поиска. Отправить туда все страницы, которые не должны быть в индексе.

  3. Через неделю-две ещё раз выгрузить список и посмотреть, какие теперь страницы в индексе. На моей практике не раз было так, что Вебмастер пишет, что страница удалена, но на самом деле она всё ещё в индексе. 

  4. Повторно отправляю страницы в удаление. И так несколько раз.

Просто имейте в виду, что в Яндексе такое возможно, но это не смертельно. Даже если Яндекс «помнит» какие-то старые страницы, на сайте это вряд ли как-то отразится, при условии, что страниц действительно не существует или они закрыты. 

На одном из проектов Яндекс до сих пор присылает мне сообщение о малоценных страницах, хотя на сайте их уже больше года нет. 

Ещё, надо помнить, что закрытие страницы в robots.txt не даёт 100 % закрытия от индексации. Более надёжный способ — прописать директиву <meta name="robots" content="noindex"> на нужных страницах. 

Тут есть нюанс. У Google в Справке есть подсказка про использование noindex:

«Чтобы директива noindex работала, в файле robots.txt не должен быть заблокирован доступ поискового робота к странице. 

В противном случае поисковый робот не сможет обработать код страницы и не обнаружит метатег noindex. В результате контент с такой страницы по‑прежнему будет появляться в результатах поиска, например если на неё ссылаются другие ресурсы».

Обратите внимание, что и удаление страницы из карты сайта не означает, что она удалится из индекса поисковых систем. Например, URL с параметрами или UTM‑метками в карте сайте нет, но Яндекс всё равно может определить их как отдельные страницы и добавить в индекс.

Так что лучше закрывать страницу или в robots.txt, или директивой noindex. 

Спросите у Топвизора

У нас есть Google Форма, где мы собираем вопросы читателей.  Другой вариант — задать вопрос просто в комментариях к любой статье. Если вам не у кого спросить совет по SEO, спросите у Топвизора. Мы попросим экспертов вам ответить и поделимся всей полезной информацией, которую сможем найти! 

Задать вопрос

31 0
Оставьте свой комментарий
Чтобы оставить комментарий, авторизуйтесь

Советуем почитать

Как пользоваться Яндекс.Вордстат

Как пользоваться Яндекс.Вордстат

Как собрать семантику с помощью Вордстат, как пользоваться операторами, зачем смотреть частоту и как автоматизировать работу.
Как посмотреть сайт «глазами» поискового робота с помощью Google Chrome

Как посмотреть сайт «глазами» поискового робота с помощью Google Chrome

Перевод и адаптация статьи Алекса Харфорда для Moz. В этой статье — о том, как использовать Google Chrome или Chrome Canary, чтобы посмотреть сайт «глазами» краулеров Google.
ТОП-7 интересных публикаций со всего интернета за август

ТОП-7 интересных публикаций со всего интернета за август

В подборке о том, как работает полезный контент в Google, рекомендации для продвижения e-commerce-сайтов, кейс о повышении органического трафика на 14 % и про копирайтинг на основе искусственного интеллекта.