Русский
English
SEO-кухня
07.09.2023
Как удалить устаревший контент из поисковых систем Яндекс и Google
Иногда контент на сайте устаревает. В статье рассказываем, в каких случаях нужно его удалять, как это делать и проверять, что все сработало, а также что будет, если ничего не предпринимать.
Зачем и когда удалять устаревший контент
При обновлениях в интернет‑магазине
Когда товар есть на сайте, а в реальности его нет, люди могут пытаться его заказать. И когда у них не получится сделать заказ, отсутствующие товары с надписью «не в наличии» или устаревшие модели, которые уже не продаются, могут вводить покупателей в заблуждение и снижать доверие к бренду.
То же касается маркетинговых акций. Когда акции или распродажи с ограничением по времени закончены, нужно эти страницы удалить или закрыть от индексации, чтобы люди не попытались участвовать в акции, которая уже не актуальна.
При изменениях закона
В некоторых случаях законодательство может требовать удаления определённой информации — например, личных данных, которые больше не должны быть доступны публично.
Если новости и статьи больше не актуальны
Допустим, вчера вы написали о чём‑то, что случилось в вашей отрасли, а сегодня это уже неактуально. Или вы выпустили статью о каком‑то сервисе несколько лет назад, а сейчас он больше не работает или у него изменились условия.
Пользователи могут зайти на сайт, увидеть подобную информацию, а потом при проверке обнаружить, что она недостоверна. Всё это подрывает доверие к ресурсу.
Как удалить устаревший контент
Директива Disallow
Файл robots.txt — это текстовый документ формата .txt, в котором прописаны специальные правила (директивы) для поисковых роботов. Они помогают управлять индексацией сайта.
Директива User‑Agent указывает, для какого робота действует правило. Disallow закрывает индексацию конкретных страниц, но они всё ещё будут на сайте.
Их нужно указать с полным относительным адресом. В начале должен идти знак «/».
Указали роботу Яндекса, чтобы не индексировал страницу:
User‑agent: Yandex Disallow: /ru/page1
Тег noindex
Установка метатега noindex на странице позволяет поисковым системам понять, что эта страница не должна индексироваться. Со временем такая страница будет исключена из поисковой выдачи, но всё‑таки не удалена полностью.
Тег прописывают в HTML‑коде страницы внутри секции <head>. Вот как это выглядит:
<meta name="robots" content="noindex">
❗️ Использование тега noindex не гарантирует мгновенное исключение страницы из индексации.
ПС могут сохранять страницу в кэш‑памяти или продолжать индексировать её некоторое время после добавления тега. Но постепенно они учтут тег и исключат страницу.
Инструмент «Удалить URL» в Яндекс Вебмастере
В Яндекс Вебмастере есть инструмент, который позволяет ускорить обход роботом страницы и быстрее её удалить.
-
Перейдите на страницу инструмента.
-
Введите ссылку на страницу, которую нужно удалить.
-
Нажмите «Удалить».
Как удалить статьи из поиска — Справка Яндекса для веб‑мастеров
Что такое Яндекс Вебмастер и как им пользоваться
Инструмент удаления устаревшего контента в Google Search Console
Здесь есть инструмент, идентичный тому, что в Вебмастере.
-
Перейдите на страницу инструмента.
-
Введите ссылку на страницу, которую нужно удалить.
-
Нажмите «Отправить».
Как удалить страницы из поиска — Cправка Google
Как удалить саму страницу с сайта
После запрета индексации и запроса на удаление из поиска ПС со временем исключат страницу из своей индексации. Но ещё можно удалить страницу полностью с сайта.
❗️ Перед удалением страницы нужно:
-
Проверить ссылки на удаляемую страницу
Убедитесь, что на неё нет активных ссылок на других страницах вашего сайта. Если такие ссылки есть, обновите их или удалите.
Это можно посмотреть в «Анализе сайта» Топвизора:
-
Обновить sitemap
Оттуда тоже надо убрать ссылки на страницу, от которой вы избавляетесь. Исправленный файл загружается в корневую папку сайта и обычно доступен по ссылке такого образца: https://site.ru/sitemap.xml. Ссылку на обновлённый файл нужно указать в robots.txt.
Либо добавить его напрямую в Вебмастер:
И GSC:
-
Проверить внешние ссылки
Если на удалённую страницу активно ссылались другие веб‑ресурсы, нужно связаться с владельцами и либо попросить их удалить ссылку, либо поставить ссылку на другую страницу.
Если у вас есть прямой доступ к файлам вашего сайта, вы можете найти файл, соответствующий удаляемой странице, и удалить его. Например, если у вас есть HTML‑файл "about.html", вы можете удалить его с сервера.
Если вы используете панель управления хостингом (cPanel или Plesk, например), вы можете найти соответствующую страницу и удалить её с помощью встроенных функций файлового менеджера или FTP‑доступа.
То же касается и CMS. Удаление страницы сайта, созданного на CMS — Joomla, Битрикс, WordPress, Drupal, — обычно осуществляется через меню CMS.
Что ещё можно сделать с неактуальным контентом
Установить 301‑ или 302‑редирект
Если у вас есть страница с устаревшей информацией, которую вы хотите заменить новой, можно настроить с неё 301‑ или 302‑редирект (перенаправление).
301‑редирект указывает на постоянное перемещение страницы, а 302 — на временное перемещение. ПС будут автоматически перенаправлять пользователей со старой страницы на новую.
Создать «заглушку»
Вместо удаления страницы можно на ней сделать специальную «заглушку». На «заглушке» можно разместить что угодно — и удержать таким образом пользователей на сайте.
Это поможет улучшить пользовательский опыт.
Обновить контент
Новости или статьи с устаревшей информацией можно обновить, тогда они снова станут актуальными. Это поможет сохранить существующую страницу и её рейтинг в поисковой выдаче. Особенно это важно для страниц, которые приводят хороший трафик на сайт.
Дата обновления будет показана и на самой странице, и в сниппете в выдаче. Пользователи, скорее всего, будут кликать на более новый материал.
Ещё можно сделать так, чтобы контент автоматически обновлялся на странице согласно каким‑то правилам. Это делают с помощью специальных скриптов, которые зачастую пишутся для каждой такой ситуации отдельно. Например, на сайте Т—Ж автоматически обновляются цены в соответствии с курсом доллара к рублю:
Как удалить информацию с чужого ресурса
Если устаревшая информация находится на чужом ресурсе, например на форуме или в комментариях, вам следует предпринять следующие шаги:
-
Свяжитесь с владельцем
Попросите его удалить устаревшую информацию или обновить ссылку. Обычно контакты владельца сайта находятся в футере:
-
Обратитесь к ПС
Если владелец ресурса отказывается удалить устаревшую информацию, вы можете обратиться к поисковым системам: используйте инструменты Яндекса и Google для удаления, которые мы описали выше. Туда можно добавлять страницы не только своих сайтов.
Форма обращения в поддержку Google
Как проверить поисковую выдачу после удаления данных
-
Поискать по точному запросу
Если результаты поиска больше не отображают удаленную информацию, это означает, что ПС успешно исключила её из своей индексации.
-
Использовать инструменты аналитики
В Яндекс Вебмастере все обновления будут на странице «Страницы в поиске»:
❗️ Ещё можно посмотреть эту информацию в «Анализе сайта» Топвизора.
Ненужные вам в поиске страницы должны быть запрещены файлом robots.txt и отсутствовать в sitemap.xml:
Что будет, если не удалять устаревшие данные
Если вы не принимаете меры по удалению устаревшей информации из поисковых систем, это может иметь негативные последствия:
-
Пользователи получат плохой опыт
Устаревшая информация может привести пользователей в заблуждение и подорвать доверие к вашему веб‑ресурсу. Возрастёт процент отказов, уменьшится время на сайте и глубина просмотра.
-
У сайта ухудшатся позиции
Если ухудшатся поведенческие факторы, сайт может потерять позиции в выдаче.
-
Потратится краулинговый бюджет сайта
Краулинговый бюджет — это лимит на количество страниц сайта, которые поисковые роботы смогут обойти за сутки.
Чем больше неактуальных страниц обходит робот, тем меньше актуальных он может обойти.
Как оптимизировать краулинговый бюджет
Что запомнить
-
Нужно убирать с сайта: товары и акции, которых больше нет, данные по требованию властей и устаревшие новости/статьи.
-
Удалить устаревший контент можно с помощью директивы Disallow, тега noindex, удаления через Вебмастер и GSC. Ещё можно удалить саму страницу с сайта.
-
При удалении нужно убедиться, что на эту страницу не ссылаются другие и что она удалена из sitemap.xml. Также важно проследить, что на страницу не ссылаются с других ресурсов.
-
Проверить выдачу после удаления страниц можно вручную, введя запрос, по которому ранжировалась удалённая страница, и с помощью сервисов аналитики.
-
Если не удалять неактуальные страницы, будет ухудшаться пользовательский опыт и позиции сайта в выдаче, а также тратиться краулинговый бюджет сайта.
Ещё по теме
Как сделать качественный SEO‑аудит сайта самостоятельно: полное руководство
Как провести анализ контента сайта
Как удалить 12 тысяч дублей и попасть в ТОП Яндекса за три месяца