Как удалить сайт из индекса

Для удаления сайта из индекса может быть несколько причин: желание избавиться от лишних копий, скрыть личную информацию, доработать материалы, а также улучшить поведенческие факторы.

Поведенческие факторы будут ухудшаться, если не предназначенных для индексации страниц в поиске много. Пользователи по ним не кликают, так как на них не размещается полезный для них контент.

К таким страницам относятся: 

• дубли;

• служебные (с их помощью можно сравнить исходный код с двух страниц);

• с неуникальным контентом;

• системные каталоги и файлы;

• удалённые страницы.

Проверить, индексируются ли страницы, можно в Топвизоре. Для этого необходимо перейти в инструмент Индексация. Вверху можно выбрать одну из двух поисковых систем — Яндекс или Google. С помощью этой же кнопки можно сравнить показатели:

Как удалить сайт из Google

В этой поисковой системе есть возможность сделать это на некоторое время или насовсем. Прежде всего необходимо определиться, какую цель вы преследуете.

В чем разница между инструментом удаления URL и инструментом обновления устаревшего контента

GSC содержит два инструмента для удаления и обновления материалов:

1. Инструмент удаления URL. Он предназначен для временного (180 дней) исключения страницы или изображения из Google, если они всё ещё появляются в нём. Воспользоваться инструментом можно из GSC.

2. Инструмент обновления устаревшего контента. Он предназначен для того, чтобы обновить контент и полностью удалить старый. Используется в случае, если старый контент все ещё отображается в поиске. Если запрос будет одобрен, удалённый контент исчезнет из поисковой системы, а изменённый появится.

Временная блокировка URL

Этот способ используется для того, чтобы быстро заблокировать показ в выдаче или обновить контент — тогда Google распознает его и добавит в результаты. При этом блокировка осуществляется на полгода и не запрещает поисковым роботам сканировать страницы. Стоит также учитывать: если вы хотите заблокировать страницу, которую невозможно открыть (ошибки 404, 502 и 503), поисковая система удалит её. Любая страница по тому же адресу, которую Google обнаружит позже, будет считаться новой.

Как осуществить временную блокировку в Google:

1. Открыть инструмент удаления URL.

2. Перейти на вкладку «Временные удаления».

3. Нажать «Создать запрос».

4. Выбрать «Временное удаление URL» или «Удаление кэшированной копии страницы».

5. Нажать «Далее» и подтвердить отправку запроса. На обработку может потребоваться время (до суток), ответ не всегда может быть положительным. Если он отклонен, можно нажать «Подробнее» и там ознакомиться с информацией о причине.

6. Учтите, что под разными вариантами URL (в т. ч. с изменённым регистром, если сервер их поддерживает) может открываться та же страница. В таком случае необходимо отправить дополнительные запросы.

Чтобы отменить запрос, найдите его в таблице с историей. Нажмите на три точки рядом с запросом и выберите «Отменить запрос».

Проверить, есть ли URL в индексе Google, можно прямо в GSC:

Что такое Google Search Console: как подключить и настроить 

Как удалить контент из Google навсегда

Сделать это можно несколькими способами:

1. Удалить или изменить контент сайта (изображения, страницы, каталоги) и убедиться, что сервер отображает страницу с кодом статуса HTTP 404 («не найдено») или 410 («удалено»). Файлы, отличные от формата HTML, нужно удалять с сервера полностью.

2. Заблокировать доступ к контенту — установить пароль.

3. Использовать правило noindex в виде тега <meta> или заголовка HTTP‑ответа. Чтобы это сработало, robots.txt не должен ограничивать доступ ПС к странице через disallow — иначе краулеры не смогут обнаружить noindex.

❗️ Обратите внимание: поисковые системы не поддерживают noindex в файле robots.txt.

Не используйте этот способ, чтобы скрыть страницу из выдачи.

Если перед окончательным удалением контента вы заблокировали страницу, необходимо снять блокировку и снова её включить. Если краулер повторно сканировал её после блокировки, таким образом она будет исключена из индекса.

Как удалить сайт из Яндекса

Сделать это можно также несколькими способами. Когда робот сканирует сайт, он сначала обращается к файлу robots.txt.

Запретить индексирование страницы или каталога

Если страница удалена с сайта, в файле robots.txt необходимо указать директиву Disallow. После этого настроить сервер на код статуса 404 («не найдено»), 403 («запрещено») или 410 («удалено»). Для удобства пользователей можно установить редирект с кодом статуса 301 («перемещено навсегда»).

После прочтения указанного файла и обнаружения команды Disallow алгоритм удалит страницу в течение недели. Установление HTTP‑статуса позволит убрать страницу из поисковой базы.

Чтобы проверить корректность отображения, Яндекс Вебмастер предлагает инструмент Анализ robots.txt. 

Что такое Яндекс Вебмастер и как им пользоваться 

Для деиндексирования одной страницы включите в код метатег robots с директивой noindex. Эффект будет таким же, как при установлении HTTP‑статуса.

Удаленные из поисковой выдачи страницы могут отображаться в Яндекс Вебмастере до следующего обхода сайта.

Как ускорить удаление страницы

Для этого можно сообщить Яндексу о необходимости её убрать — и не ждать, пока краулер увидит указания. Что нужно для этого предпринять:

1. Открыть Яндекс Вебмастер, перейти на страницу с инструментом «Удаление страниц из поиска».

2. Ввести в поле адрес страницы.

3. Нажать кнопку «Удалить».

Чтобы удалить сразу группу страниц, нужно:

1. Подтвердить права на управление сайтом.

2. Установить переключатель в положение «По префиксу».

3. Указать префикс. Можно отправить до 20 в сутки.

4. Нажать кнопку «Удалить».

Робот удалит страницы, указанные в Яндекс Вебмастере, только если для этих страниц прописана директива Disallow в файле robots.txt.

Сервис также предлагает возможность следить за процессом деиндексации: он помечает процесс разными статусами. В них входят:

• «В очереди на удаление». Идёт проверка на наличие запрета и индексирование страницы;

• «В процессе». Проверка завершена, в течение суток страница будет удалена;

• «Удалена»;

• «Отклонено». Робот не может удалить страницу, так как запрет на индексирование отсутствует или ответ сервера некорректен (код статуса отличается от 404, 403 или 410). 

Чтобы вернуть страницу в результаты поиска, нужно убрать запрет на индексирование — директиву Disallow в robots.txt или метатег noindex. Как только робот увидит изменения, страница станет доступна. 

Что ещё почитать

Как проверить индексацию сайта

Что такое nofollow‑ и dofollow‑ссылки

Как удалить устаревший контент из поисковых систем Яндекс и Google