Измените языковые настройки Топвизор для работы с сервисом на родном языке. Вы также сможете выбрать и установить язык интерфейса позже в настройках Аккаунта. Измените языковые настройки Топвизор для работы с сервисом на родном языке. ru Русский Выбрать

Google разделил своих поисковых роботов на три категории

Google разделил своих поисковых роботов на три категории

Google в документации поделил поисковых роботов на три группы и объяснил, когда и для чего использует каждую группу. Получились такие категории:

  • Googlebot. Основной сканер для поисковых продуктов Google. Всегда соблюдает правила robots.txt;

  • Специальные поисковые роботы. Сканеры, выполняющие определённые функции, например, AdsBot. Могут соблюдать или не соблюдать правила robots.txt;

  • Инициируемые пользователем сборщики. Сканеры, которые действуют по запросу пользователя, например, Google Site Verifier. Поскольку запрос делает пользователь, они игнорируют правила robots.txt.

Напротив каждой категории появился  J SON‑файл с IP‑адресами, которые использует соответствующая категория сканеров.

google-crawler-purposes
Три категории поисковых роботов Google

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.

Подписаться 

 



8 0
Оставьте свой комментарий
Чтобы оставить комментарий, авторизуйтесь

Советуем почитать

Что такое фавикон и как его создать самостоятельно

Что такое фавикон и как его создать самостоятельно

Что такое фавикон и зачем он нужен, какого размера он должен быть. Как создать favicon для сайта самостоятельно при помощи сервисов, Как добавить его на сайт и оптимизировать: подробная инструкция с советами.
Как отличить клики, сеансы и пользователей в GA4

Как отличить клики, сеансы и пользователей в GA4

В аналитике порой встречаются расхождения между кликами и сеансами - это нормально. Объясняем разницу между пользователями, клик
Микроразметка Schema: исчерпывающее руководство для SEO

Микроразметка Schema: исчерпывающее руководство для SEO

Расскажем о самых важных для SEO типах микроразметки Schema, как с ними работать и каких ошибок избегать. Перевод с сайта link-assistant.com