Неверная настройка Cloudflare может может привести к выпадению страниц из индекса Google

Неправильная настройка Cloudflare и других средств защиты сайта может привести к резкому падению органического трафика и выпадению страниц из индекса Google. Проблема возникла после нескольких случаев, когда ограничения для ботов блокировали доступ поисковых роботов к сайтам.

В одном из примеров провайдер IT-услуг включил в Cloudflare настройку, запрещающую сканирование сайта всеми ботами. В результате Google перестал обходить страницы, сайт потерял органический трафик, а товары исчезли из Merchant Center. По данным специалиста, восстановление показателей заняло около двух недель.

Другой случай касался онлайн-маркетплейса, где ограничения на уровне файрвола вводились из-за высокой нагрузки от ботов. В итоге вместе с нежелательными роботами был ограничен доступ поисковых систем, что привело к серьезным SEO-последствиям.

Проблема становится актуальнее на фоне роста числа инструментов для управления доступом ИИ-ботов и других автоматизированных систем. При некорректной конфигурации такие ограничения могут затронуть не только ИИ-краулеров, но и Googlebot и других поисковых роботов.

Источник: Search Engine Roundtable

Читайте также по теме: