Русский
English
Что там опять
Документ в первую очередь предназначен для крупных и часто обновляемых сайтов. Google отдельно отмечает, что большинству ресурсов не нужно специально заниматься оптимизацией краулингового бюджета: если на сайте не миллионы страниц и новые материалы быстро попадают в индекс, достаточно поддерживать актуальную карту сайта и регулярно проверять отчёты об индексировании.
В обновлённой версии Google снова обращает внимание на основные способы эффективнее расходовать ресурс Googlebot. Среди рекомендаций — устранение мягких ошибок 404, контроль параметров URL, снижение количества дубликатов страниц, улучшение скорости ответа сервера и удаление ненужных страниц из зоны обхода.
Краулинговый бюджет определяется не только количеством запросов, которые Googlebot может отправить сайту, но и тем, насколько поисковик заинтересован в обходе конкретных URL. Поэтому даже большое количество страниц само по себе не означает проблему: важно, чтобы бот тратил время на полезные и актуальные материалы.
Обновление особенно актуально для интернет-магазинов, маркетплейсов, сайтов объявлений и других проектов с большим количеством автоматически создаваемых страниц. Владельцам таких ресурсов стоит проверить отчёты об обходе в Google Search Console, найти страницы, которые получают лишние обращения Googlebot, и убедиться, что важные URL не теряются среди технических страниц.
Источник: Search Engine Roundtable