Что там опять 19.10.2021

Протокол IndexNow: быстрая индексация контента

С помощью IndexNow можно напрямую сообщить поисковым системам об изменениях на сайте, не дожидаясь обхода краулера.

Какие компании уже поддерживают IndexNow

Microsoft и Яндекс представили решение для быстрой индексации контента – IndexNow.

IndexNow – это протокол, который автоматически сообщает поисковым системам об изменениях на сайте, включая появление новых страниц, обновление или удаление текущих.

IndexNow имеет открытый исходный код и открыт для всех поисковых систем. Протокол начнёт использоваться с ноября 2021 года. В день на индексацию можно отправить не больше 10 000 URL-адресов с одного сайта.

Преимущества технологии

Без IndexNow поисковым системам могут потребоваться дни или недели, чтобы обнаружить, что контент изменился, поскольку поисковые системы не часто сканируют каждый URL. С помощью IndexNow можно напрямую сообщить поисковым системам об изменениях на сайте, не дожидаясь очередного обхода индексирующим роботом.

Отправленные на индексацию URL-адреса будут автоматически передаваться всем другим поисковым системам, которые поддерживают этот протокол.

Как подключить

1. Сгенерируйте ключ, поддерживаемый протоколом. Ключ можно сформировать вручную или с помощью инструмента генерации ключей.

Что такое ключ

Для отправки URL-адресов необходимо подтвердить, что именно вы являетесь владельцем сайта, для которого передаются данные. Для подтверждения используется специальный ключ – его нужно сформировать и разместить файл с ним на сайте. Поддерживается только кодировка UTF-8. Ключ должен состоять минимум из 8 символов.

2. Разместите текстовый файл ключа в корневом каталоге хоста.

3. Отправьте URL новых, изменившихся или удалённых страниц сайта. Можно отправить один URL-адрес или набор URL-адресов для каждого вызова API.

Для Яндекса: чтобы отправить один адрес, используйте метод GET https://yandex.com/indexnow, для передачи нескольких адресов – POST https://yandex.com/indexnow.

Для Bing: инструкция по отправке URL-адресов.

Подробнее о новом протоколе можно прочитать в Справке Яндекса, на сайте indexnow.org, а также
в Справке Microsoft.

Какие компании уже поддерживают IndexNow

Новый протокол также поддержала компания Cloudflare. Изменения коснулись сервиса Crawler Hints.

Cloudflare – это сеть серверов по всему миру, к которой компании подключают свои сайты, чтобы увеличить скорость их загрузки и защитить от DDoS-атак. Также при помощи этого сервиса можно управлять DNS-записями на домене и перевести сайт на HTTPS.

Crawler Hints («подсказки для краулеров») – это сервис, который сообщает поисковым роботам информацию о том, что они сканировали ранее, и о том, есть ли смысл сканировать сайт снова.

Что изменилось:

Crawler Hints теперь поддерживает IndexNow;
Crawler Hints теперь доступен для всех клиентов Cloudflare бесплатно. Включить Crawler Hints можно на вкладке «Cache» на панели инструментов.

Подробнее – в блоге Cloudflare.

В наших новостях всегда есть немного больше, чем у других. Подпишитесь на канал в Телеграм и читайте интересные новости первыми.