Апдейт❗Проверки в Яндекс Search API частично возобновлены. Запустить их можно и вручную, и автоматически в период с 20:00 по 05:59 по московскому времени. Для проверок, запущенных между 20:00 и 23:59, данные будут доступны в проектах не ранее полуночи. Как задать расписание проверок →

Чтобы получать данные в другое время, используйте Яндекс SERP, «живую» выдачу Яндекса. Как добавить Яндекс SERP в проект →

Google опубликовал список IP-адресов Googlebot

По списку можно проверить, кто заходит на сайт – краулер Google или бот-мошенник.

Google опубликовал полный список IP-адресов робота Googlebot. По списку вебмастера могут проверить, кто заходит на сайт – краулер Google или бот-мошенник.

Например, у вас есть подозрения, что спамеры пытаются получить доступ к сайту под видом Googlebot. Когда фальшивые боты сканируют сайт, это негативно влияет на его работу. Сайт медленнее загружается и может потенциально отключиться. Это приведёт к проблемам с индексацией и ранжированием.

С помощью списка IP-адресов вебмастера могут идентифицировать робота Googlebot по IP-адресу. Это альтернативный способ проверить, кто заходил на ваш сайт. Подойдёт, если вы не хотите выполнять обратный DNS-запрос по IP-адресу источника.

Чтобы убедиться, что на сайт заходит именно робот Google – сопоставьте IP-адрес сканера со списком IP-адресов робота Googlebot.

Google постоянно обновляет этот список, поэтому файл лучше проверять ежедневно.

Ссылка на этот способ в Справке Google появилось только для англоязычной версии.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться

Теги: