Google: не используйте коды 403 или 404 для ограничения частоты сканирования Googlebot
Google сообщил, что за последние месяцы заметил всплеск среди владельцев сайтов и сетей доставки контента, которые используют коды 404 и другие ошибки клиента 4xx (не 429), чтобы снизить частоту сканирования Googlebot. Google предупреждает: все коды ответа HTTP 4xx (кроме 429) приведут к удалению контента из поиска. А если отправить с кодом ответа 4xx файл robots.txt, он будет рассматриваться как несуществующий.
По этой причине компания просит следовать советам из документации. Например, можно уменьшать частоту сканирования в настройках Search Console, либо разрешить Google уменьшать частоту сканирования автоматически. Это безопасно.
В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.
Советуем почитать
Что такое тайтл и как его правильно писать

Для чего используется мета-тег viewport и как его настроить

От каких скиллов зависит зарплата SEO-специалиста в агентстве и in-house
