Гэри Ийеш из Google рассказал, что поисковая система может временно защищать важные URL от удаления из индекса, если сервер начинает возвращать для них ошибки из диапазона 4xx. Это позволяет сохранить страницы в поисковой выдаче, пока проблема не будет устранена.
Поводом стал случай с сайтом VLC. Из-за ошибки сервер возвращал код 418 (I'm a teapot), который Google обрабатывает так же, как большинство других ошибок 4xx, как сигнал о недоступности страницы. Однако URL не исчез из поиска сразу.
По словам Ийеша, Google временно сохранил страницу в индексе из-за её высокой значимости. При этом у ситуации появились побочные эффекты: поисковик перестал показывать фавикон и сниппет, оставив только ссылку и последний известный заголовок страницы. Google объяснил это тем, что после получения ошибки не может загрузить содержимое и обновить информацию о странице.
Позже сайт VLC снова начал возвращать корректный статус 200 OK, поэтому отображение фавикона и других элементов выдачи должно восстановиться.
Google лишь подтвердил, что в отдельных случаях может не удалять значимые URL из индекса сразу после получения ошибки 4xx. Рассматривать это как способ поддерживать страницы в индексе при длительной недоступности не стоит.
Источник: Search Engine Journal
Читайте также по теме:
Google усилил блокировку скрейперов и SEO‑инструментов
Google тестирует текстовые объявления в AI Mode
Google начал платить издателям за использование контента в ИИ‑поиске