Что там опять 22.12.2021

Google: 100 000 URL-адресов не могут потратить краулинговый бюджет

Обычно даже 100 000 URL-адресов недостаточно, чтобы потратить весь краулинговый бюджет.

Google заявил в Twitter, что обычно даже 100 000 URL-адресов недостаточно, чтобы потратить весь краулинговый бюджет. Для этого необходимо иметь сайт с большим количеством страниц. Тогда, возможно, бюджета не хватит.

100k URLs is usually not enough to affect crawl budget (it's <1/minute over 3 months), and if it's noindex/404, we won't crawl them that often. With robots.txt it's rare we'd show them in search, site:-queries don't matter.

— ❄️ John ❄️ (@JohnMu) December 21, 2021

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Теги:

#google , #краулинг