Проверки в Яндекс Search API проходят в ограниченном режиме в ночное время. Планируйте запуск проверок с 00:00 до 04:59 по московскому времени и обязательно проверьте, что в Настройках аккаунта выставлен верный часовой пояс. Как установить расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

Google добавил в список краулеров новый user-agent

Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов Google.

Западные оптимизаторы заметили, что в справочную документацию Google по поисковым роботам был добавлен новый агент пользователя – Google Site Verifier User Agent. Он игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов и сервисов Google.

Google Site Verifier
Google Site Verifier

Джон Мюллер уточнил в Twitter, что этот user‑agent не является чем‑то новым и уже используется Google некоторое время. Просто информация о нём была добавлена в официальный список краулеров только сейчас.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться

Теги: