‼️ Апдейт на 02.11.2026 ‼️: из-за повышенной нагрузки по понедельникам и в начале месяца часть проверок в Яндекс Search API не успела завершиться в ночное время. Статус таких проверок сброшен, средства возвращены. Поддержка может отвечать с небольшой задержкой, но мы обязательно вам поможем.

Апдейт от 29.10.2026❗Проверки в Яндекс Search API работают с ограничениями. Рекомендуем изменить время запуска проверок на 00:00 по московскому времени. Как установить расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

В документации Google замечен новый краулер Google-Safety

Он сканирует сайт на различные злоупотребления — например, вредоносное ПО на ресурсах Google.

В документации Google появилась запись о новом краулере Google‑Safety. Веб‑мастера могли сталкивать с ним ранее, однако в официальной Справке о нём не упоминалось.

Что пишет Google

«User‑agent Google‑Safety заходит на сайт и обнаруживает различные злоупотребления, например, вредоносное ПО на ресурсах Google. Данный user‑agent игнорирует правила robots.txt».

google-safety
Google‑Safety. Источник: Центр Поиска Google

Не так давно Google добавил в список краулеров user‑agent, который игнорирует правила robots.txt, и используется для проверки права собственности на сайт с помощью консоли поиска и других инструментов Google.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться

Теги: