Google обновил руководство по управлению лимитом на сканирование

В руководстве по управлению лимитом на сканирование для владельцев крупных сайтов Google добавил два новых мифа. Первый миф — «Я могу использовать noindex, чтобы контролировать краулинговый бюджет». Второй — «Страницы с кодом статуса 4xx впустую тратят краулинговый бюджет».

Миф 1 — «Я могу использовать noindex, чтобы контролировать краулинговый бюджет»

В этом есть часть правды, как пишет Google. Любой сканируемый URL‑адрес влияет на краулинговый бюджет, а чтобы найти директиву noindex, Google вынужден просканировать страницу.

Однако польза noindex в том, что директива запрещает индексирование некоторые страницы в результатах поиска. Поэтому Google рекомендует продолжать использовать noindex, если нужно, и не переживать о краулинговом бюджете. 

Также важно отметить, что если закрыть часть URL‑адресов с помощью noindex или другим способом, Googlebot сосредоточится на других URL‑адресах. В долгосрочной перспективе noindex может косвенно высвободить часть бюджета для всего сайта.

Миф 2 — «Страницы с кодом статус 4xx впустую тратят краулинговый бюджет»

Это точно миф, на самом деле всё иначе. Страницы с кодом статуса 4xx (кроме 429) не тратят краулинговый бюджет, потому что роботы Google не индексируют URL с кодом статуса 4xx.