Google разделил своих поисковых роботов на три категории

Google в документации поделил поисковых роботов на три группы и объяснил, когда и для чего использует каждую группу. Получились такие категории:

• Googlebot. Основной сканер для поисковых продуктов Google. Всегда соблюдает правила robots.txt;

• Специальные поисковые роботы. Сканеры, выполняющие определённые функции, например, AdsBot. Могут соблюдать или не соблюдать правила robots.txt;

• Инициируемые пользователем сборщики. Сканеры, которые действуют по запросу пользователя, например, Google Site Verifier. Поскольку запрос делает пользователь, они игнорируют правила robots.txt.

Напротив каждой категории появился  J SON‑файл с IP‑адресами, которые использует соответствующая категория сканеров.