Проверки в Яндекс Search API проходят в ограниченном режиме в ночное время. Планируйте запуск проверок с 00:00 до 04:59 по московскому времени и обязательно проверьте, что в Настройках аккаунта выставлен верный часовой пояс. Как установить расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

В документации Google замечен новый краулер Google-Safety

Он сканирует сайт на различные злоупотребления — например, вредоносное ПО на ресурсах Google.

В документации Google появилась запись о новом краулере Google‑Safety. Веб‑мастера могли сталкивать с ним ранее, однако в официальной Справке о нём не упоминалось.

Что пишет Google

«User‑agent Google‑Safety заходит на сайт и обнаруживает различные злоупотребления, например, вредоносное ПО на ресурсах Google. Данный user‑agent игнорирует правила robots.txt».

google-safety
Google‑Safety. Источник: Центр Поиска Google

Не так давно Google добавил в список краулеров user‑agent, который игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов Google.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться

Теги: