Google разделил своих поисковых роботов на три категории
Google в документации поделил поисковых роботов на три группы и объяснил, когда и для чего использует каждую группу. Получились такие категории:
-
Googlebot. Основной сканер для поисковых продуктов Google. Всегда соблюдает правила robots.txt;
-
Специальные поисковые роботы. Сканеры, выполняющие определённые функции, например, AdsBot. Могут соблюдать или не соблюдать правила robots.txt;
-
Инициируемые пользователем сборщики. Сканеры, которые действуют по запросу пользователя, например, Google Site Verifier. Поскольку запрос делает пользователь, они игнорируют правила robots.txt.
Напротив каждой категории появился J SON‑файл с IP‑адресами, которые использует соответствующая категория сканеров.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.
Советуем почитать
Что такое фавикон и как его создать самостоятельно

Как отличить клики, сеансы и пользователей в GA4

Микроразметка Schema: исчерпывающее руководство для SEO
