Google разделил своих поисковых роботов на три категории

Googlebot, специальные поисковые роботы и роботы, которых запускают пользователи.

Google в документации поделил поисковых роботов на три группы и объяснил, когда и для чего использует каждую группу. Получились такие категории:

Googlebot. Основной сканер для поисковых продуктов Google. Всегда соблюдает правила robots.txt;
Специальные поисковые роботы. Сканеры, выполняющие определённые функции, например, AdsBot. Могут соблюдать или не соблюдать правила robots.txt;
Инициируемые пользователем сборщики. Сканеры, которые действуют по запросу пользователя, например, Google Site Verifier. Поскольку запрос делает пользователь, они игнорируют правила robots.txt.

Напротив каждой категории появился J SON‑файл с IP‑адресами, которые использует соответствующая категория сканеров.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.