SEO-кухня SEO-кухня 26.04.2022

Как создать систему для отслеживания индексации сайтов, используя URL Inspection API и Analytics Edge

Пошаговое руководство по созданию собственной системы отслеживания индексации в Excel на основе данных из Google. Перевод статьи Гленна Гейба.

Как создать систему для отслеживания индексации сайтов, используя URL Inspection API и Analytics Edge

Перевод статьи Гленна Гейба.

31 января 2022 года Google выпустил URL Inspection API, позволяющий массово проверять состояние индексации URL-адресов на основе свойств в GSC.

В GSC всегда можно было проверять индексацию по одному URL-адресу. Но с помощью URL Inspection API впервые можно проверить состояние индексации URL-адресов массово на основе данных непосредственно от Google.

Используя эту систему для отслеживания индексирования, можно ежедневно или еженедельно проверять, проиндексированы ли ваши самые важные URL-адреса, не пропали ли они из индекса в результате технических проблем, проблем с качеством сайта или из-за требовательной системы индексирования Google.

У API есть ограничение — 2000 запросов в день (подсчитываются вызовы, которые относятся к одному и тому же сайту), что может стать проблемой для крупных сайтов. В статье я расскажу, как это обойти.

Что такое Analytics Edge

Analytics Edge — это надстройка для Excel, которая позволяет работать с несколькими API непосредственно в электронных таблицах и использовать полученные данные сразу после экспорта.

Я использую Analytics Edge для многих целей, в том числе и для массовой проверки URL-адресов с помощью URL Inspection API.

Вместо массовой проверки только одного свойства в GSC, мы будем проверять сразу несколько свойств и сайтов автоматически, без необходимости запускать каждый макрос по отдельности.

Цель состоит в том, чтобы вы открыли электронную таблицу, нажали кнопку «Обновить всё», и система проверила все ваши самые популярные URL-адреса на нескольких сайтах автоматически. Такой подход может сэкономить кучу времени.

Результат проверки в настроенной системе
Результат проверки в настроенной системе

Как обойти ограничение в 2 000 запросов в день

Из-за лимита через URL Inspection API вы можете обрабатывать только 2 000 запросов в день для каждого свойства GSC.

Но есть важное отличие между сайтом и свойством GSC. Помните, что вы можете настроить в GSC несколько свойств на один сайт, добавив каталоги и поддомены. Благодаря этому вы можете получать больше данных.

Несколько свойств в GSC
Несколько свойств в GSC

Наличие каталогов или поддоменов, настроенных в качестве свойств, позволит вам обрабатывать 2 000 запросов в день для каждого из этих свойств. Благодаря этому вы можете проверять гораздо больше URL-адресов на сайте.

А используя Analytics Edge, вы можете проверить состояние индексации URL-адресов по всем этим свойствам одновременно.

Руководство: как настроить систему отслеживания индексации

Шаг 1. Устанавливаем Analytics Edge

Загрузите и установите основное дополнение Analytics Edge.

Как настроить Analytics Edge (на английском)

После установки основного дополнения вы сможете быстро добавить модуль для подключения к Google Search Console. Вам понадобятся оба этих инструмента, чтобы воспроизвести те действия, о которых я рассказываю в статье.

Подключение модуля GSC
Подключение модуля GSCПодключение модуля GSC
Что касается лицензий, есть бесплатные пробные версии как у основного дополнения, так и у модуля для подключения к GSC (30 дней). После завершения пробного периода основное дополнение будет стоить 99 долларов в год, а модуль для подключения к GSC — 50 долларов в год.

Шаг 2. Подключаем учётную запись Google

Подключитесь к учётной записи Google с доступом к свойствам GSC, которые вы хотите отслеживать.

В верхнем меню Excel откройте вкладку «Analytics Edge». Нажмите на «Google Search», а затем на «Accounts» в выпадающем меню.

Подключение к аккаунту Google
Подключение к аккаунту Google

Теперь подключите учётную запись Google и пройдите авторизацию. Это займёт всего несколько секунд.

Шаг 3. Создаём рабочий лист со списком URL

Создайте рабочий лист, содержащий основные URL-адреса первого сайта, который вы хотите отслеживать.

В один рабочий лист можно включить до 2 000 URL-адресов. Сначала я советую добавить только 10 или 20 самых популярных URL-адресов сайта, чтобы вам не пришлось долго ждать, пока API обработает ваши запросы при создании этой системы отслеживания индексирования. После этого вы можете добавить до 2 000 URL-адресов на один рабочий лист.

Добавление списка URL
Добавление списка URL

Убедитесь, что у столбца есть заголовок. В этом примере я использовал «page» в качестве заголовка, чтобы вам было удобно повторять шаги данного руководства.

Вы можете назвать рабочий лист как угодно, например, по названию сайта, но я использовал «site1».

Шаг 4. Создаём первый макрос

Создадим первый макрос для проверки URL-адресов с помощью URL Inspection API.

Analytics Edge предоставляет массу функциональных возможностей, которые можно использовать при создании макросов. Когда вы создаёте макрос в Analytics Edge, вы объединяете серию инструкций, которые будут выполняться последовательно.

Меню «Файл» в Analytics Edge
Меню «Файл» в Analytics Edge

Для наших целей мы хотим:

  1. Прочитать список URL-адресов из нашего рабочего листа.
  2. Использовать URL Inspection API для проверки этих URL-адресов
  3. Записать результаты в новый рабочий лист, чтобы можно было проанализировать данные.

В Analytics Edge откройте меню «File» → щёлкните на «Read Worksheet». Эта функция извлечёт весь список URL-адресов, которые присутствуют на данном рабочем листе.

Пример макроса
Пример макроса

В этом диалоговом окне рабочей книгой будет текущая рабочая книга, а рабочим листом — текущий рабочий лист. Вам не придётся ничего менять. Просто нажмите OK, чтобы прочитать рабочий лист.

Вкладка «Read Worksheet»
Вкладка «Read Worksheet»

Обратите внимание, как на панели задач в Analytics Edge добавляется каждая часть нашего макроса по мере выполнения этих частей. После каждого шага вы увидите новую инструкцию, добавленную в макрос.

Analytics Edge создаёт временный рабочий лист под названием «Step Results», содержащий список URL-адресов, которые вы будете обрабатывать с помощью URL Inspection API. Теперь давайте воспользуемся этим API.

Шаг 5. Запускаем проверку URL Inspection

В меню Analytics Edge выберите «Google Search» → «URL Inspection». В диалоговом окне выберите учётную запись, которую вы настроили ранее, а затем свойство GSC, с которым вы хотите работать.

Теперь в этом же окне вы должны указать, где находятся URL-адреса в рабочем листе, добавив название столбца в поле URL. Чтобы добавить имя столбца, возьмите его в квадратные скобки. Так, если вы использовали в качестве имени столбца «page», как я, введите [page] в это поле и нажмите на кнопку OK.

Проверка URL на странице с помощью URL Inspection API
Проверка URL на странице с помощью URL Inspection API

Теперь пусть URL Inspection API обработает все запросы. Это не должно занять много времени, поскольку мы тестируем всего несколько URL-адресов.

После завершения процесса на рабочем листе «Step Results» появится образец результатов, выделенный зелёным цветом. Теперь давайте выведем результаты на новый рабочий лист, где вы сможете анализировать данные и работать с ними.

Шаг 6. Выводим результаты в таблицу

В Analytics Edge выберите меню «File», а затем «Write to Worksheet». Дайте новому рабочему листу имя, например, «site1 Results» и нажмите OK.

Запись результатов в таблицу
Запись результатов в таблицу

Теперь у вас есть новый рабочий лист, содержащий результаты проверки списка URL-адресов, которые вы хотите отслеживать.

Шаг 7. Создаём рабочий лист для второго свойства GSC или сайта

Мы хотим разом проверить несколько свойств GSC на разных сайтах. Поэтому давайте для этой цели создадим второй макрос, а затем запустим оба через Analytics Edge.

Создайте новый рабочий лист с URL-адресами второго сайта или второго свойства GSC для того же сайта, который вы проверяли ранее.

Для теста вы можете назвать этот рабочий лист «site2». И опять же, в будущем вы можете назвать его по названию сайта. Добавьте самые популярные URL-адреса второго сайта или свойства, индексацию которого вы хотите отслеживать. Опять же, сначала я бы добавил всего 10–20 URL-адресов. В качестве названия столбца можно снова использовать «page».

Список URL второго сайта или свойства
Список URL второго сайта или свойства

Шаг 8. Создаём второй макрос

Создайте новый макрос, который будет работать со вторым списком URL-адресов. Первый макрос уже настроен и будет работать с первым рабочим листом с URL-адресами. Второй макрос будет использовать новый список URL-адресов.

На панели задач Analytics Edge вы увидите текущий макрос. Откройте выпадающее меню и выберите «new macro».

Создание нового макроса
Создание нового макроса

Назовите его так, как вам захочется. Я назвал его «Check Site 2».

Кроме того, если панель задач по какой-то причине не отображается, вы можете открыть её, открыв вкладку «Analytics Edge» в меню Excel, а затем нажав на кнопку «Task Pane», расположенную слева. Это большой значок рядом с меню «File».

Задаём имя новому макросу
Задаём имя новому макросу

Шаг 9. Проверяем и выводим результаты второго рабочего листа

Далее проделайте те же действия, что и ранее, чтобы создать инструкции для чтения рабочего листа, использования URL Inspection API и вывода результатов в новый рабочий лист с именем «Результаты сайта 2».

В итоге у вас будет два макроса, которые обрабатывают URL-адреса из двух рабочих листов. И каждый макрос выводит результаты в новые рабочие листы для последующего анализа данных и работы с ними.

Результаты второго макроса
Результаты второго макроса

Теперь, когда вы создали два макроса, вы всегда можете открыть электронную таблицу и запустить их одновременно, чтобы проверить URL-адреса, которые вы хотите отслеживать по всем свойствам GSC.

Для этого откройте Analytics Edge и нажмите на кнопку «Refresh All» («Обновить всё»), которая находится в левом верхнем углу. Analytics Edge запустит оба макроса в алфавитном порядке. После выполнения макросов у вас будут свежие данные для анализа.

Сохраняйте каждую электронную таблицу под новым именем, чтобы можно было отслеживать результаты с течением времени.

Кнопка «Обновить всё» для выполнения сразу всех макросов
Кнопка «Обновить всё» для выполнения сразу всех макросов

Поздравляем! Теперь ваша система отслеживания URL-адресов нескольких сайтов готова.

Вы можете отслеживать больше сайтов, добавив дополнительные макросы в электронную таблицу. И опять же, если у вас большой сайт, то добавление нескольких каталогов или поддоменов в качестве свойств GSC позволит вам обойти ограничение в 2 000 запросов в день. Таким образом, вы можете добавить несколько свойств GSC (из одного и того же сайта), а не только проверять разные сайты.