Google скрыл URL в поисковой выдаче

Google выпустил новое обновление, которое ещё сильнее ограничивает получение URL из поисковой выдачи. Проблема обнаружена техническими специалистами Топвизора, а полная ситуация с шифрованием описана в блоге scrapingbee.com.

Что произошло?

Ранее поисковая система уже прятала реальные адреса страниц: вместо прямого URL в ссылке использовался промежуточный адрес, который перенаправлял пользователя на нужную страницу. А также тестировала новые алгоритмы промежуточных страниц, которые позволяли ещё точнее определять роботов.

Теперь Google пошёл дальше, и адрес страницы внутри ссылки с goto больше не передаётся в открытом виде, а защищён и не может быть восстановлен обычными способами. Другими словами, чтобы узнать полный адрес ссылки, нужно обязательно кликнуть по ней. Это кратно увеличивает нагрузку на сервисы поисковой аналитики. Сейчас из разметки поисковой выдачи можно получить домен сайта, но не точный URL страницы.

Почему Google это делает?

Официальных заявлений от Google нет. Вероятнее всего, и эти, и предыдущие ограничения призваны бороться с роботами и ИИ моделями. Например, это может быть попыткой ограничить доступ сторонних ИИ, позволив использовать поисковую выдачу только собственным ИИ‑моделям Google. Также, благодаря новым ограничениям, Google сможет собирать данные о трафике, несмотря на анонимайзеры или отключенный в браузере JS.

Как это коснулось Топвизора?

Сейчас в Проверке позиций и Снимках определяются только домены сайтов. Временно не работает Проверка индексации в Google, а также Проверка релевантных страниц. Мы изучаем новое поведение поисковой системы и работаем над возможным решением, которое позволит вернуть эти возможности.