❗ Апдейт на 16.11.2026. Часть проверок в Search API за 16 ноября не была завершена из-за сбоя. Денежные средства вернутся на ваш баланс.

Проверки в Яндекс Search API проходят в ограниченном режиме в ночное время. Планируйте запуск проверок с 00:00 до 04:59 по московскому времени и обязательно проверьте, что в Настройках аккаунта выставлен верный часовой пояс. Как установить расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

Google обновил руководство по управлению лимитом на сканирование

Добавил в него два мифа и рассказал, что правда, а что ложь.

В руководстве по управлению лимитом на сканирование для владельцев крупных сайтов Google добавил два новых мифа. Первый миф — «Я могу использовать noindex, чтобы контролировать краулинговый бюджет». Второй — «Страницы с кодом статуса 4xx впустую тратят краулинговый бюджет».

Миф 1 — «Я могу использовать noindex, чтобы контролировать краулинговый бюджет»

В этом есть часть правды, как пишет Google. Любой сканируемый URL‑адрес влияет на краулинговый бюджет, а чтобы найти директиву noindex, Google вынужден просканировать страницу.

Однако польза noindex в том, что директива запрещает индексирование некоторые страницы в результатах поиска. Поэтому Google рекомендует продолжать использовать noindex, если нужно, и не переживать о краулинговом бюджете.

Также важно отметить, что если закрыть часть URL‑адресов с помощью noindex или другим способом, Googlebot сосредоточится на других URL‑адресах. В долгосрочной перспективе noindex может косвенно высвободить часть бюджета для всего сайта.

Миф 2 — «Страницы с кодом статус 4xx впустую тратят краулинговый бюджет»

Это точно миф, на самом деле всё иначе. Страницы с кодом статуса 4xx (кроме 429) не тратят краулинговый бюджет, потому что роботы Google не индексируют URL с кодом статуса 4xx.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться

Теги: