Как быстро направить страницы на повторную индексацию

Вместе с Андреем Антохиным, SEO‑специалистом и автором канала Hello Digital World, ответили на вопрос и рассказали о способах отправить страницы в Google на повторное индексирование.

Нужно помнить, что мы не можем говорить об отправке страниц на индексацию, если на сайте не установлены счётчики Яндекс Метрики и Google Analytics, если сайт не добавлен в Яндекс Вебмастер и Google Search Console и если у вас не создан файл sitemap.

Если страницы вашего сайта всё‑таки не индексируются, вы можете вручную отправить их на индексацию через Яндекс Вебмастер и Google Search Console. В Яндексе есть лимит на количество страниц, которые можно отправить в день, но с терпением и регулярной отправкой страниц вы сможете добиться полной индексации вашего сайта.

Что касается вопроса об индексации конкретных категорий сайта: если вы настраиваете ключ через запись, скорее всего, речь идёт о WordPress. На WordPress это делается достаточно удобно: существует плагин Fast Indexing API, который является частью настройки Rank Math SEO плагина.

В этом случае мы берём API‑ключ, добавляем его в плагин и прямо из админки WordPress можем отправлять на индексацию до 100 URL‑адресов. Важно понимать, что это индексация не именно «категорий», а конкретных страниц. Хотя, конечно, это могут быть и страницы категорий. Данные отправляются, и страницы в ускоренном режиме попадают в индекс.

Но здесь важно помнить ключевой момент: если страницы низкого качества, то, как бы вы их ни продвигали (покупали ссылки, отправляли вручную), они не попадут в индекс. Google в последнее время ужесточил фильтрацию, потому что многие SEO‑специалисты начали массово отправлять на индексацию сотни и тысячи некачественных страниц, создавая несколько аккаунтов и перегружая систему. Это превратилось в спам, с которым Google активно борется.

Андрей Антохин SEO‑специалист и автор телеграм‑канала Hello Digital World

Как отправить страницы на повторное индексирование в Google

Если вы внесли важные изменения на страницах, вы можете отправить их на повторное индексирование — так Google быстрее заметит новшества и изменит позиции.

Сделать это можно двумя способами в зависимости от количества страниц, которым требуется переобход.

Если страниц мало

Если вам нужно повторно проиндексировать несколько URL, можно воспользоваться инструментом проверки URL: нужно вставить URL страницы в инструмент и после проверки нажать кнопку «Запросить индексирование».

Этот же инструмент позволит узнать, на какой стадии находится процедура. Google пишет, что обычно для индексирования требуется около одного дня, но в отдельных случаях процедура может затянуться на одну‑две недели.

Будьте внимательны: число запросов, которые вы можете отправить за один день, ограничено краулинговым бюджетом: примерный лимит можно определить по статистическим данным в сервисах аналитики — Яндекс Вебмастере и Google Search Console.

Если страниц много

Если нужно проиндексировать большое количество страниц, отправьте файл sitemap в Google — повторная обработка файла будет выполнена вне обычного расписания. Сделать это можно несколькими способами.

В Google Search Console

1. Добавьте файл sitemap на сайт. Файл должен быть создан в подходящем формате. Google советует размещать файл на корневом уровне вашего сайта. Проверяйте файл на наличие синтаксических ошибок.

2. Убедитесь, что у бота Google есть доступ к карте сайта. Проверить это можно с помощью инструмента проверки URL — в поле «Получение страницы» должно быть указано «Успешно».

3. Отправьте файл. В раздел «Файлы sitemap» вставьте URL, который проверяли ранее, и отправьте файл на проверку.

Файл будет получен сразу же, но его сканирование может занять некоторое время. Следите за статусом проверки файла и вовремя исправляйте ошибки. Подробнее о том, как добавить файл в GSC, — в Справке Google.

Для ускорения индексации можно создать sitemap.xml без вложенных структур. Это можно сделать с помощью инструментов Site Analyzer или Screaming Frog. Однако помните, что такая карта сайта не обновляется автоматически и вам придётся менять файл вручную, если вы добавите новые страницы.

Андрей Антохин SEO‑специалист и автор телеграм‑канала Hello Digital World

С помощью Search Console API

Можно добавить файл sitemap алгоритмическим методом — сделать это можно здесь.

Через robots.txt

В любом месте файла robots.txt вставьте строку с путём к файлу sitemap, например: 

sitemap: https://example.com/my_sitemap.xml

Google обнаружит её при следующем сканировании файла robots.txt.

С помощью WebSub

Протокол WebSub поможет уведомить об изменениях не только Google, но и другие поисковые системы. Этот способ подойдёт, если ваша sitemap формата Atom или RSS.

Как увеличить краулинговый бюджет

Чтобы роботы индексировали больше нужных страниц, стоит оптимизировать бюджет, то есть:

• убрать всё лишнее из файла sitemap: неканоничные ссылки, дубли, ссылки с ошибками и так далее;

• прописать http‑заголовки Last‑Modified: они сообщают о наличии изменений на странице — если их не было, робот не будет тратить на неё бюджет;

• использовать атрибут <priority>: он укажет роботам, какие страницы наиболее значимы;

• проверить robots.txt: убедитесь, что вы закрыли все ненужные страницы от индексации;

• оптимизировать редиректы: чем их меньше, тем меньше бюджета расходуется;

• улучшить перелинковку;

• ускорить загрузку страниц;

• увеличить ссылочную массу: чем больше ссылок на страницу, тем выше шанс, что робот быстрее её проиндексирует.

Ещё один способ ускорить индексацию — приобрести ссылки на страницы через биржи, например Sape. После того как ссылки начнут работать, их можно будет удалить.

Андрей Антохин SEO‑специалист и автор телеграм‑канала Hello Digital World

Кроме того, можно воспользоваться инструментом Google Indexing API — он позволяет напрямую отправлять список страниц для индексирования.

C осени 2024 года инструмент ​​Indexing API доступен только для страниц с разметкой JobPosting или BroadcastEvent, то есть для страниц с быстрообновляющимся контентом. Чтобы использовать инструмент, нужно запросить одобрение. Подробнее — в Справке Google.

Ограничение связано с тем, что Google обновил правила использования API индексации, чтобы бороться со спамом. Даже страницам с разметкой JobPosting или BroadcastEvent нельзя превышать квоту в 200 URL в день без одобрения со стороны Google.

Я лично пользуюсь сервисами‑индексаторами, если сайт мне не принадлежит. Если есть Google Search Console, то пользуюсь этим инструментом.

Андрей Антохин SEO‑специалист и автор телеграм‑канала Hello Digital World

Как отправить страницы на индексацию через Google Indexing API:

1. Создайте сервисный аккаунт

В Google Cloud Platform выберите или создайте проект. В разделе «Сервисный аккаунт» создайте профиль и присвойте ему статус «Владелец». Местоположение можно не изменять.

2. Сгенерируйте ключ

Когда аккаунт создан, в разделе «Действия» сгенерируйте ключ — выбирайте вариант JSON. После генерации он автоматически скачается на ваше устройство.

3. Настройте скрипт

Ключ нужен для запуска скрипта — можно скачать в интернете любой, например этот на GitHub.

В папке скрипта найдите файл service_account и замените его содержимое ключом, который вы скачали ранее. 

4. Свяжите скрипт с Google Search Console

Для этого в разделе «Управление владельцами ресурса» добавьте нового владельца — client_email из ключа.

5. Включите Index API

В Google Cloud выберите сервисный аккаунт и запустите инструмент — сделать это можно здесь. 

6. Используйте скрипт

В папке скрипта находится файл urls — в него можно внести до 200 страниц в сутки (двумя пакетами по 100). После этого, предварительно установив код, пропишите команду node index.js. в PowerShell.

Что ещё почитать об индексировании 👇

Google Indexing API как полезный SEO‑инструмент

Как проверить индексацию сайта

Как Google обрабатывает JavaScript в процессе индексации