В конце июня 2026 года Google запустил новую защиту от ботов. Вместо результатов поиска пользователям показывается страница Verifying your request («Проверка запроса»):

На странице могут быть разные формулировки:
- Our systems have detected unusual traffic from your computer network — причины появления этой страницы могут быть разные: вредоносное ПО на устройстве, другие пользователи в общей сети, которые обращаются к поиску, использование автоматических парсеров для сбора данных из поисковых систем. После появления страницы пользователю будет предложено решить reCAPTCHA;
- We're checking to see if the connection is secure — может быть вызвана теми же причинами, что в пункте выше. Раньше после неё следовала необязательная CAPTCHA, но теперь она обязательна, и при проверке нужен JavaScript. Headless‑скрейперы без какого‑либо интерактивного интерфейса не могут пройти такую капчу, так как для прохождения проверки необходимо запустить код подтверждения Google в реальном браузере;
- Пустая страница, которая, тем не менее, отдает код ответа 200 — наиболее важная страница для тех, кто занимается парсингом результатов в Google. Она возвращает обычный ответ с кодом 200 и реальный HTML‑документ, не содержащий результатов поиска. В нем нет ничего, что можно было бы расценить как ошибку, поэтому проверка кода ответа проходит без проблем. Однако и данных о сайтах, их URL и позициях тоже нет. И именно эта версия виновна в той снижении скорости и проблемах с парсингом, которые испытают сервисы по поисковой аналитике в последнее время.
Почему пустая страница Verifying your request является такой проблемой
Когда Google заставляет скрейпер решать капчу, он дает четкий сигнал о том, что тебя заблокировали. Автоматизированный клиент получал явную информацию о том, что запрос не удался.
Новый шлюз выполняет поведенческую и криптографическую проверку на JavaScript и незаметно решает, доверять ли сессии. reCAPTCHA пошла тем же путем много лет назад, оценивая риск в фоновом режиме, вместо того чтобы постоянно показывать проверку. Объявление Google о защите от мошенничества в облаке на Next' 26 ясно дало понять: статические головоломки с изображениями уходят в прошлое в пользу поведенческой оценки машинного обучения.
Разница в том, кто видит пустую страницу. Человек видит, что контента на странице нет. Робот же никак не может узнать, что что‑то пошло не так, потому что не получает капчу или каких‑то проблем с загрузкой страницы. Он видит корректный код ответа 200 и проверяет наличие сайта в полученных данных. Не найдя его, он сигнализирует, например, что сайта нет в ТОПе, хотя на странице вообще не было сайтов, и если бы страница загрузилась, сайт там мог бы быть.
Недавно Google начал использовать редиректы через google.com/goto в выдаче. Это также усложняет парсинг для сервисов автоматического сбора данных в Google.
Источник: cloro.dev