Google: не используйте коды 403 или 404 для ограничения частоты сканирования Googlebot

Google сообщил, что за последние месяцы заметил всплеск среди владельцев сайтов и сетей доставки контента, которые используют коды 404 и другие ошибки клиента 4xx (не 429), чтобы снизить частоту сканирования Googlebot. Google предупреждает: все коды ответа HTTP 4xx (кроме 429) приведут к удалению контента из поиска. А если отправить с кодом ответа 4xx файл robots.txt, он будет рассматриваться как несуществующий. 

По этой причине компания просит следовать советам из документации. Например, можно уменьшать частоту сканирования в настройках Search Console, либо разрешить Google уменьшать частоту сканирования автоматически. Это безопасно.