Google: 100 000 URL-адресов не могут потратить краулинговый бюджет

Google заявил в Twitter, что обычно даже 100 000 URL-адресов недостаточно, чтобы потратить весь краулинговый бюджет. Для этого необходимо иметь сайт с большим количеством страниц. Тогда, возможно, бюджета не хватит.

100k URLs is usually not enough to affect crawl budget (it's <1/minute over 3 months), and if it's noindex/404, we won't crawl them that often. With robots.txt it's rare we'd show them in search, site:-queries don't matter.

— ❄️ John ❄️ (@JohnMu) December 21, 2021