Измените язык, если вам нужно работать с Топвизором на другом языке. Язык интерфейса можно изменить в любое время в настройках аккаунта. Измените язык, если вам нужно работать с Топвизором на другом языке. ru Русский Выбрать

Как закрыть сайт от индексации дублей в Яндексе

Что делать, если в robots.txt прописано всё, что можно, но Яндекс всё равно индексирует страницу.

Как закрыть сайт от индексации дублей в Яндексе

Вопрос читателя: «Как закрыть сайт от индексации дублей? В robots.txt прописано всё, что только можно, но всё равно Яндекс в Вебмастере присылает сообщения, что есть одинаковые заголовки и описания страниц».

У Яндекса есть проблема с задержкой в отчётах. Он может присылать сообщения о старых страницах, которых уже нет на сайте. Даже если они выдают 404-ю ошибку, он всё равно будет о них помнить.

Помимо того, что я закрываю страницы в файле robots.txt, нужно предпринять и другие действия:

  1. Выгрузить все страницы сайта, которые сейчас в индексе: перейти в Яндекс.Вебмастер → Индексирование → Страницы в поиске. Там перейти в раздел «Все страницы» и выгрузить их в Excel. С этого списка отобрать страницы, которых не должно быть в индексе.

  2. Открыть инструмент удаления страниц в Яндекс.Вебмастере: Инструменты → Удаление страниц из поиска. Отправить туда все страницы, которые не должны быть в индексе.

  3. Через неделю-две ещё раз выгрузить список и посмотреть, какие теперь страницы в индексе. На моей практике не раз было так, что Вебмастер пишет, что страница удалена, но на самом деле она всё ещё в индексе.

  4. Повторно отправляю страницы в удаление. И так несколько раз.

Просто имейте в виду, что в Яндексе такое возможно, но это не смертельно. Даже если Яндекс «помнит» какие-то старые страницы, на сайте это вряд ли как-то отразится, при условии, что страниц действительно не существует или они закрыты.

На одном из проектов Яндекс до сих пор присылает мне сообщение о малоценных страницах, хотя на сайте их уже больше года нет.

Ещё, надо помнить, что закрытие страницы в robots.txt не даёт 100 % закрытия от индексации. Более надёжный способ — прописать директиву <meta name="robots" content="noindex"> на нужных страницах.

Тут есть нюанс. У Google в Справке есть подсказка про использование noindex:

«Чтобы директива noindex работала, в файле robots.txt не должен быть заблокирован доступ поискового робота к странице.

В противном случае поисковый робот не сможет обработать код страницы и не обнаружит метатег noindex. В результате контент с такой страницы по‑прежнему будет появляться в результатах поиска, например если на неё ссылаются другие ресурсы».

Обратите внимание, что и удаление страницы из карты сайта не означает, что она удалится из индекса поисковых систем. Например, URL с параметрами или UTM‑метками в карте сайте нет, но Яндекс всё равно может определить их как отдельные страницы и добавить в индекс.

Так что лучше закрывать страницу или в robots.txt, или директивой noindex.

Спросите у Топвизора

У нас есть Google Форма, где мы собираем вопросы читателей. Другой вариант — задать вопрос просто в комментариях к любой статье. Если вам не у кого спросить совет по SEO, спросите у Топвизора. Мы попросим экспертов вам ответить и поделимся всей полезной информацией, которую сможем найти!

Задать вопрос

Теги: