Google добавил в список краулеров новый user-agent

Западные оптимизаторы заметили, что в справочную документацию Google по поисковым роботам был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.

Джон Мюллер уточнил в Twitter, что этот user‑agent не является чем‑то новым и уже используется Google некоторое время. Просто информация о нём была добавлена в официальный список краулеров только сейчас.