Google прекратит поддержку инструмента ограничения скорости сканирования

Google сообщил, что прекратит поддержку инструмента ограничения скорости сканирования в GSC 8 января 2024 г. По словам Гэри Илисса, инструмент доступен более 10 лет, но потерял актуальность из‑за ряда обновлений.

Как объясняет Гэри, Googlebot реагирует на то, как сайт (а точнее сервер, обрабатывающий сайт) отвечает на HTTP‑запросы Googlebot. Если сервер постоянно возвращает код 500 для ряда URL‑адресов, Googlebot автоматически и почти мгновенно замедляет сканирование. Также Googlebot автоматически замедляет сканирование, если время ответа на запросы сильно увеличивается.

Однако инструмент ограничения скорости в GSC работает гораздо медленнее. Для применения ограничений требуется несколько дней. С отменой инструмента Google установит минимальную скорость сканирования более низкого уровня — её можно сравнить с ограничениями, которые выставляли владельцы сайтов.

Несмотря на то, что компания перестанет поддерживать инструмент в Search Console, соответствующий отчёт сохранится. Однако, по словам Иллиса, самый верный способ снизить частоту сканирования на небольшой период — это разрешить Google уменьшать частоту сканирования автоматически через HTTP 500, 503 или 429.

Напоминаем, недавно в Google Search Console вышел новый отчёт robots.txt. Он отображает:

• для доменных ресурсов найденные robots.txt для топ‑20 хостов;

• для ресурсов с префиксом URL корневой robots.txt;

• дату последнего сканирования файла, статус, размер и предыдущие версии;

• игнорируемые строки.