Google обновил рекомендации по управлению краулинговым бюджетом и впервые прямо посоветовал использовать HTTP-код ответа 304 Not Modified для страниц, содержимое которых не изменилось. По данным компании, это позволяет поисковому роботу повторно использовать сохраненную копию страницы, снижая нагрузку на сервер и повышая эффективность обхода сайта.
Код 304 Not Modified сообщает Googlebot, что страница не обновлялась с момента предыдущего посещения. В этом случае поисковой системе не требуется заново загружать весь контент, что экономит серверные ресурсы и позволяет направить больше краулингового бюджета на новые или измененные страницы.
Обновленная документация также рекомендует владельцам сайтов следить за скоростью ответа сервера, избегать длинных цепочек редиректов, своевременно обновлять XML-карты сайта и устранять soft 404-страницы. При этом Google подчеркивает, что вопросы краулингового бюджета в первую очередь актуальны для крупных сайтов с сотнями тысяч URL, тогда как большинству небольших ресурсов не требуется специальная оптимизация в этой области.
Источник: Search Engine Journal