Google: в блокировках Googlebot виноваты неправильные настройки брандмауэра или CDN

Гэри Иллис из команды Google Search Relations написал, что наиболее распространённая причина, по которой сайт блокирует Googlebot, связана с неправильной настройкой брандмауэра или CDN.

Дословно Гэри сказал: «Проверьте, что за трафик блокируют ваши брандмауэры и CDN. Наиболее распространённая проблема с блокировкой Googlebot связана с их неправильной настройкой и происходит непреднамеренно».

Что делать, чтобы сайт не блокировал Googlebot

Регулярно проверять правила блокировки. Иллис говорит, что Google публикует диапазоны своих IP‑адресов. Поэтому несложно сопоставить IP‑адрес обратившегося к сайту поискового робота со списком IP‑адресов робота Googlebot. Об этом также говорится в справочном документе Google.