Яндекс разъяснил, что делать, когда страница присылает код ответа 4ХХ

Коды ответа 4ХХ означают, что контент сайта недоступен для робота и через некоторое время пропадёт из поисковой выдачи. Возможные причины:

• Страница удалена — специально или по ошибке.

• Возникла ошибка в адресе при размещении ссылки.

• Доступ к странице заблокирован. 

Однако в Яндексе можно вовремя узнать о росте количества страниц с кодами 4ХХ и посмотреть их список. Сообщение придет на почтовый адрес, если подписаться на уведомления от Вебмастера. Если нет, посмотреть сообщение об ошибке можно в самом Вебмастере — как пишет Яндекс у себя в блоге.

Как посмотреть сообщение об ошибке в Вебмастере

Надо сделать следующее:

• перейти в Вебмастер в раздел «Диагностика»;

• найти алерт «Некоторые страницы сайта отвечают HTTP‑кодом 4хх»;

• нажать на ссылку «Посмотреть примеры страниц» — откроется список с такими кодами;

• если такого уведомления нет, то Вебмастер не диагностировал проблем с ошибками 4ХХ. 

Если статус некоторых страниц — 4ХХ, надо найти и исправить возникшие ошибки, чтобы робот продолжил индексирование. Если большое число страниц с сайта были недавно удалены, следует пропустить сообщение об ошибке.

Рекомендации Яндекса, что делать в случае возникновения ошибок

В зависимости от типа страницы есть несколько способов исправления ошибки.

В случае важных страниц с необходимым в поиске контентом:

• Обратится к хостинг‑провайдеру и разработчику сайта.

• Проверить настройки сервера на предмет блокировок робота, уточнить их у хостинг‑провайдера или в службе поддержки используемого движка.

• Изучить логи обращений к сайту и поискать запросы с User‑Agent робота Яндекса. 

В случае намеренно удалённых страниц:

• Настроить перенаправление с удалённых страниц на нужные с помощью кодов 3ХХ, чтобы у пользователей сохранился доступ к важному контенту.

• Запретить обход ненужных страниц в robots.txt директивой Disallow.

• Проверить чёрный список сайта и IP, так как запросы робота Яндекса могли быть заблокированы по IP, а инструмент проверки сервера не всегда может показать такую проблему.

• Правильно оформить страницу с ошибкой 4ХХ, сообщите пользователям, что контент по данному адресу отсутствует и предложите перейти к другим разделам сайта.

В случае страниц, которые никогда не существовали на сайте: 

• Убедится в том, что на сайте нет ошибок в адресах ссылок. 

• Если исправление технических ошибок не помогло, запретить обход ненужных страниц в robots.txt директивой Disallow.