Что делать со страницами, которые выдают ошибку 404

Вопрос: Краулер выдал список страниц с ошибкой 404. Как узнать попали они в индекс или нет? Как правильно удалить их с сайта? Оставить как есть и ничего не делать? ПС критично реагирует на страницы с 404-й ошибкой?

Отвечает Айрат Рахимзянов, частный SEO-специалист, автор телеграм-канала «SEO-секретики».

Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.

Как узнать попали страницы в индекс или нет

Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.

Инструкция по проверке индексации в Топвизоре

Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.

Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р.

Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:

Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.

Запустите проверку:

Страницы можно отсортировать по изменению статуса в индексе. Первыми встанут те, которых раньше не было в индексе или которые выпали из него.

Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.

Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём.

Инструкция по проверке индексации в Key Collector

Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.

Перед получением данных не забудьте скорректировать настройки программы:

Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:

Указываем нужный сайт и начинаем парсинг:

После получения данных видим такую картину:

В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.

Как удалить страницы с ошибкой 404 с сайта

Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.

Для этого выберите проект и нажмите на значок Аудита:

Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.

После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет:

Как реагирует ПС на страницы с 404-й ошибкой

ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске.

Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.

Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.

Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.