В документации Google замечен новый краулер Google-Safety

В документации Google появилась запись о новом краулере Google‑Safety. Веб‑мастера могли сталкивать с ним ранее, однако в официальной Справке о нём не упоминалось.

Что пишет Google

«User‑agent Google‑Safety заходит на сайт и обнаруживает различные злоупотребления, например, вредоносное ПО на ресурсах Google. Данный user‑agent игнорирует правила robots.txt».

Не так давно Google добавил в список краулеров user‑agent, который игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов Google.