Измените языковые настройки Топвизор для работы с сервисом на родном языке. Вы также сможете выбрать и установить язык интерфейса позже в настройках Аккаунта. Измените языковые настройки Топвизор для работы с сервисом на родном языке. ru Русский Выбрать

Что делать со страницами, которые выдают ошибку 404

Что делать со страницами, которые выдают ошибку 404

Вопрос: Краулер выдал список страниц с ошибкой 404. Как узнать попали они в индекс или нет? Как правильно удалить их с сайта? Оставить как есть и ничего не делать? ПС критично реагирует на страницы с 404-й ошибкой?

Отвечает Айрат Рахимзянов, частный SEO-специалист, автор телеграм-канала «SEO-секретики».

Ошибка 404 – эта ошибка, которая означает, что сервер не смог найти сайт по данному адресу. Ссылки, которые ведут на такие страницы обычно называют «битыми».

Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.

Как узнать попали страницы в индекс или нет

Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.

Для Яндекса это оператор url:, а для Google site:.
Как это выглядит в Яндексе:
Проверка индексации в Яндексе
В Google:
Проверка индексации в Google

Инструкция по проверке индексации в Топвизоре

Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.

Как проверить индексацию через Топвизор
Как проверить индексацию через Топвизор

Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р. 

Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:

Как выбрать поисковые системы, в которых нужно проверить индексацию
Как выбрать поисковые системы, в которых нужно проверить индексацию

Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.

Страница загрузки списка URL
Страница загрузки списка URL

Запустите проверку:

Как запустить проверку индексации
Как запустить проверку индексации в Топвизоре

Страницы можно отсортировать по изменению статуса в индексе. Первыми встанут те, которых раньше не было в индексе или которые выпали из него. 

Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.

Как настроить проверку по расписанию
Как настроить проверку индексации по расписанию

Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём. 

Инструкция по проверке индексации в Key Collector

Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.

Для этого метода должна быть куплена программа Key Collector и должна быть ссылка от сервиса Яндекс.XML (или сервиса xmlproxy.ru) или сервиса xmlriver.com (для Google). Если есть лимиты в Яндекс.XML, то проверка будет бесплатной. Если нет, то эти лимиты нужно купить. Для проверки в Google нужно покупать лимиты, бесплатного способа нет.
Добавляем фразы, нажав на кнопку «Добавить фразы»:
Как добавить фразы в Key Collector
Как добавить фразы в Key Collector
Фразы необходимо добавлять в следующем формате:
В каком формате добавлять фразы
В каком формате добавлять фразы

Перед получением данных не забудьте скорректировать настройки программы:

Настройки перед получением данных
Настройки перед получением данных

Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:

Как получить позиции в Яндексе
Как получить позиции в Яндексе

Указываем нужный сайт и начинаем парсинг:

Как начать парсинг в Key Collector
Как начать парсинг в Key Collector

После получения данных видим такую картину:

Результаты проверки индексации
Результаты проверки индексации

В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.

Как удалить страницы с ошибкой 404 с сайта

Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.

Для этого выберите проект и нажмите на значок Аудита: 

Как перейти к аудиту сайта
Как перейти к аудиту сайта

Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.

После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет: 

Где отображаются битые ссылки
Где отображаются битые ссылки

Как реагирует ПС на страницы с 404-й ошибкой

ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске. 

Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.

Краулинговый бюджет – это лимит на количество страниц, которые поисковый робот может просканировать в заданный временной промежуток. Если краулер потратит время на сканирование страниц с ошибкой 404, то это может негативно сказаться на сканировании полезных страниц. То есть робот доберётся до них позже. «Проблемы» краулингового бюджета больше касаются только крупных проектов – хотя бы от 100 тысяч страниц. В остальных случаях проблем со сканированием и индексированием страниц сайта не бывает.

Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.

Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.

Если не знаете, у кого спросить, спросите у Топвизора. Мы найдём эксперта, который ответит на ваш вопрос.

Задать вопрос 

3 1
Денис Денис почему не выгрузить карту сайта и просто прогнать любым пауком? Зачем эти сложности с поисковыми системами и лимитами? 0 11.10.2021 Ответить
Чтобы оставить комментарий, авторизуйтесь

Советуем почитать

Кейс агентства Art Promo

Кейс агентства Art Promo

Как мы поднимали сайт шпунтовой компании с 37 позиции в ТОП Яндекса.
SEO: что учитывать при разработке сайта

SEO: что учитывать при разработке сайта

Расскажем об этапах разработки сайта и об участии в них SEO-специалиста. Как сделать сайт, который сразу оптимизирован под SEO?
12 ошибок новичков в рекламных кампаниях Я.Директ

12 ошибок новичков в рекламных кампаниях Я.Директ

Отдел PR агентства 1PS.RU собрал список из двенадцати самых популярных ошибок, которые делают рекламу неэффективной.