Как закрыть сайт от индексации дублей в Яндексе

Вопрос читателя: «Как закрыть сайт от индексации дублей? В robots.txt прописано всё, что только можно, но всё равно Яндекс в Вебмастере присылает сообщения, что есть одинаковые заголовки и описания страниц».

У Яндекса есть проблема с задержкой в отчётах. Он может присылать сообщения о старых страницах, которых уже нет на сайте. Даже если они выдают 404-ю ошибку, он всё равно будет о них помнить.

Помимо того, что я закрываю страницы в файле robots.txt, нужно предпринять и другие действия:

1. Выгрузить все страницы сайта, которые сейчас в индексе: перейти в Яндекс.Вебмастер → Индексирование → Страницы в поиске. Там перейти в раздел «Все страницы» и выгрузить их в Excel. С этого списка отобрать страницы, которых не должно быть в индексе.

2. Открыть инструмент удаления страниц в Яндекс.Вебмастере:  Инструменты → Удаление страниц из поиска. Отправить туда все страницы, которые не должны быть в индексе.

3. Через неделю-две ещё раз выгрузить список и посмотреть, какие теперь страницы в индексе. На моей практике не раз было так, что Вебмастер пишет, что страница удалена, но на самом деле она всё ещё в индексе. 

4. Повторно отправляю страницы в удаление. И так несколько раз.

Просто имейте в виду, что в Яндексе такое возможно, но это не смертельно. Даже если Яндекс «помнит» какие-то старые страницы, на сайте это вряд ли как-то отразится, при условии, что страниц действительно не существует или они закрыты. 

На одном из проектов Яндекс до сих пор присылает мне сообщение о малоценных страницах, хотя на сайте их уже больше года нет. 

Ещё, надо помнить, что закрытие страницы в robots.txt не даёт 100 % закрытия от индексации. Более надёжный способ — прописать директиву <meta name="robots" content="noindex"> на нужных страницах. 

Тут есть нюанс. У Google в Справке есть подсказка про использование noindex:

Обратите внимание, что и удаление страницы из карты сайта не означает, что она удалится из индекса поисковых систем. Например, URL с параметрами или UTM‑метками в карте сайте нет, но Яндекс всё равно может определить их как отдельные страницы и добавить в индекс.

Так что лучше закрывать страницу или в robots.txt, или директивой noindex.