Что там опять 22.09.2022

Google добавил в список краулеров новый user-agent

Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов Google.

Западные оптимизаторы заметили, что в справочную документацию Google по поисковым роботам был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.

Джон Мюллер уточнил в Twitter, что этот user‑agent не является чем‑то новым и уже используется Google некоторое время. Просто информация о нём была добавлена в официальный список краулеров только сейчас.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.