Топвизор опять врёт? Почему позиции в отчётах Яндекса могут не совпадать с Топвизором

В мониторинге запросов Вебмастера есть данные по позициям — многие SEO‑специалисты считают их эталонными. Мы решили разобраться в скачках позиций — может ли быть так, что Проверка позиций Топвизора показывает не те данные, что Яндекс Вебмастер, и если да, то почему.

❗️ Спойлер: в отчётах Яндекса и Топвизора и правда бывают разные позиции, но это не означает серьёзных ошибок ни в одном из сервисов. 

Как Топвизор проверяет позиции

Раньше для того, чтобы показывать в сервисе позиции по Яндексу, мы использовали Яндекс XML. А после его отключения перешли на Yandex Search API.

Как в агентстве INFORM‑S искали съёмщик позиций после упразднения Яндекс XML

Как и Яндекс XML, Yandex Search API позволяет быстро и без капчи получать данные по миллионам запросов. Сервис развивается: например, недавно туда добавили возможность получать позиции и в мобильной выдаче. А в будущем обещают и другие полезные для профессионалов фичи.

Не обошлось и без минусов. В XML каждому сайту выдавались лимиты, которые можно было делегировать Топвизору и получить скидку на проверку позиций, а то и вообще проверять свои проекты бесплатно. В Search API такого функционала нет, и кому‑то пришлось перейти на платный сбор.

О Yandex Search API — Справка Yandex Cloud 

Расследование: отличаются ли позиции в Яндекс Вебмастере и Проверке позиций

Наш проект уже загружен в Яндекс Вебмастер и в Топвизор — мы взяли данные из Проверки позиций и из отчёта Вебмастера «Мониторинг запросов». Отсортировали запросы по алфавиту и убедились, что везде одни и те же. Получилось 144 запроса, по которым мы сравнивали позиции в двух отчётах. 

Цветные столбцы — это Топвизор. Именно так выглядит выгрузка из Проверки позиций: она показывает цветами позицию в ТОПе того или иного запроса. Белые столбцы — из отчёта Яндекс Вебмастера. Мы сразу видим, что есть как полные или частичные совпадения, так и полные несовпадения:

Но нужно сравнить более точно. Для этого посчитаем разницу в позициях. Будем вычитать из позиций, которые показывает Топвизор, позиции, которые показывает Яндекс. Отрицательные значения — занижение позиций, положительные — завышение. 

Чтобы увидеть более наглядную картину, с помощью условного форматирования изменим цвет ячеек — корректные значения (когда позиции совпадают) покрасим зелёным, а все остальные (завышение и занижение) — красным. 

При этом разрешим сервису небольшую погрешность — до 3 позиций в разные стороны не будет считаться завышением или занижением. Несовпадения на пару пунктов в пределах нормы, так как выдача очень динамична. 

Вот что получается: 

Есть даты, когда позиции у обоих сервисов по большинству запросов совпадали — это 17, 18 и 19 июля:

🔥 Все эти данные можно изучить прямо в Google Таблице — там можно увидеть, сколько позиций совпадает, а сколько нет. Или даже попробовать сравнить данные двух отчётов для своего проекта. 

Для этого просто замените запросы про Топвизор и позиции на нужные вам. Чтобы всё сработало, лучше загружать данные из сервисов на другой лист, а на лист «Сравнение позиций» переносить уже подготовленные данные для сравнения.

Формулы в столбцах «Разница», как и условное форматирование, которое красит ячейки в красный или зелёный цвет, лучше не трогать, чтобы всё сработало.

Посмотреть таблицу и скопировать к себе 

Почему позиции могут не совпадать с данными Вебмастера

Получается, что как минимум в этом проекте позиции не очень‑то совпадают с отчётом Вебмастера. Вот почему это происходит. 

1. Парсинг по API и результаты выдачи — разные вещи 

Как мы уже говорили, мы парсим не живую выдачу — это было бы гораздо дороже и дольше для пользователей, — а данные, которые предоставляет Yandex Search API. 

Этот сервис — преемник Яндекс XML. Вот что написано в документации сервиса:

«Яндекс не гарантирует точного соответствия результатов поиска, полученных с помощью сервиса Яндекс.XML, результатам, полученными с помощью поисковой системы Яндекса». 

Yandex Search API тоже может быть неточным.

🗣️ Директор по продукту в Топвизоре Юлия Федотова:

«Ещё со времен Яндекс XML позиции в нём могли не совпадать с живой выдачей из SERP. Мы называем это „рассинхронизацией XML‑ и SERP‑выдачи“. 

При каждом подозрении на несовпадение позиций мы всегда многократно проверяем позиции вручную в разных сессиях, чтобы убедиться, что у Топвизора нет никакой ошибки в определении позиций, и выяснить, почему позиции не совпадают.

Если мы видим, что позиции в Search API и SERP стабильны, но отличаются, то мы наблюдаем за проектом в течение нескольких дней, и если ситуация не меняется — можем перевести проект на проверку в SERP. Для пользователей это бесплатно, хоть данные из живой выдачи и сложнее получать. Точность данных в ваших отчётах  — наш главный приоритет».

2. В Яндекс Вебмастере свой способ подсчёта

Тут важно сказать о цифрах 0 в отчёте Яндекса. Как сказано в Справке по инструменту, если цифра рядом с запросом — ноль, нужно обратить внимание на показатель спроса. Если он равен нулю, пользователи не вводили поисковый запрос. Если значение больше нуля, но позиция не определена, вероятно, пользователи не нашли сайт в результатах поиска или его нет по поисковому запросу.

То есть сайт действительно может ранжироваться, скажем, на 15 месте, как и определила Проверка позиций Топвизора. Но так как в Яндексе у него спрос 0, то и позиция в «Мониторинге запросов» будет 0 по методике вычисления Яндекса.

Вернёмся к скриншоту, где мы показывали разницу между позициями в Топвизоре и «Мониторинге запросов». 

❗️ Теперь мы знаем, что 0 — это не выпадение сайта из ТОПа, а показатель, который может быть обусловлен и отсутствием спроса, и тем, что пользователи не нашли сайт в результатах выдачи. Хотя он мог там быть. Теперь отчёт читается совсем по‑другому.

Ещё если несколько страниц в Яндексе ранжируются по одному и тому же запросу, то Яндекс показывает среднюю для них цифру, которая, конечно, может разниться с той, что показывает Проверка позиций.

3. Шторм выдачи 

Выдача очень динамична, поскольку в индекс поисковых систем каждую минуту попадают миллионы новых документов, которые они индексируют и учитывают при ранжировании. Конечно, это не значит, что ТОП постоянно кардинально меняется. Но одно дело, когда среди первых десяти сайтов в поиске 8‑й URL переместился на 10‑е место, и совсем другое — когда первые три сайта из ТОПа упали в ТОП‑30. Степень изменения выдачи называют штормом.

🔥 В Топвизоре есть инструмент Апометр — он показывает, насколько изменилась выдача. Для этого он каждые 3 часа собирает ТОП сайтов по частотным запросам из разных тематик и сравнивает их между собой. Инструмент учитывает количество сайтов, изменивших позиции, амплитуду их перемещения и другие показатели, и выдаёт степень изменения выдачи по 10‑балльной шкале.

В Апометре видно, что в поисковой выдаче всегда есть небольшой шторм, то есть сайты меняются местами. И если вы проверите позиции вручную сейчас и через минуту, результаты могут разными. Робот же не проверяет позиции несколько раз, а только тогда, когда вы запустили проверку. Какую позицию он увидит при конкретном обращении к выдаче, такую и покажет в отчёте.

Поддержка Топвизора всегда проверяет позиции вручную десятки раз, чтобы выяснить, идёт ли в выдаче шторм по запросу и отличаются ли позиции в разных проверках.

Если выдачу действительно штормит, мы показываем это на скриншотах и советуем проверить позиции позднее — как правило, после переранжирования документов шторм стихает, и разница больше не наблюдается. Если вы заметили, что позиции в отчёте Топвизора не совпадают с выдачей, напишите в @topvisorbot — мы всегда готовы провести анализ и выяснить, действительно ли позиции не совпадают с выдачей.

4. «Многорукий бандит»

Ещё своеобразный шторм выдачи возникает тогда, когда Яндекс применяет к сайтам алгоритм «Многорукий бандит». Этот алгоритм предназначен, чтобы тасовать выдачу.

Допустим, поисковая система понимает, что тот или иной сайт может быть полезен пользователям, но он находится низко в рейтинге. Тогда Яндекс повышает их в списке результатов, а часть ТОПа временно убирает вниз. SEO‑специалисты называют это «подбрасыванием». 

Если дальше сайт оправдывает ожидания пользователей, то он останется в верху ТОПа. А если нет, то его понижают обратно. Если Топвизор или любой другой сервис проверки позиций проверит позицию в тот момент, когда сайт был в ТОПе, пусть даже и на одну минуту, у него в отчёте останется топовая позиция, даже если после этого сайт рухнул за ТОП‑100.

Подробнее о «многоруком бандите»

5. Персонализация 

Поисковая система выстраивает результаты в выдаче и подбирает рекламу, учитывая ваши предпочтения: историю поиска, тип устройства, информацию о том, какие результаты вы чаще всего открываете и сколько времени проводите на сайтах. 

Топвизор проверяет позиции без учёта персонализации, поэтому, чтобы результаты при проверке роботом и при ручной проверке совпадали, нужно проверять позиции в режиме инкогнито.

6. Регион поиска

Если в проекте указан регион Россия, проверять позиции нужно именно в регионе Россия, если указан регион Москва и Московская область — именно в регионе с областью. «Москва» и «Москва и Московская область» — это разные регионы, и позиции в них могут отличаться.

Почему данные Топвизора могут не совпадать с выдачей — ещё несколько причин 

Выводы

1. Ни один сервис проверки позиций не покажет абсолютно идентичную выдаче информацию, потому большинство из них получают данные по API, а не парсят с «живой» выдачи. Выдача динамична (даже без апдейтов и «многорукого бандита»), и сервисы проверки позиций фиксируют все её изменения, даже если скачок в позициях был случайной флуктуацией.

2. Не ориентируйтесь только на позиции. Сейчас это скорее технический показатель, который важно оценивать вместе со всем остальным: трафиком, сезонностью, достижением прочих KPI, поведением конкурентов и многим другим.

3. Оценивайте не одномоментную позицию в отчёте в конкретной проверке, а динамику за период или среднюю позицию, скажем, за месяц. Это больше скажет вам о стабильности сайта в выдаче и позициях, которые он занимает в большинстве проверок или пользовательских сессий.

4. Огромную роль для результатов выдачи играет персонализация — возможно, у целевой аудитории вы в ТОП‑3, в то время как сервис показывает ваш сайт на 15 строчке, потому что не учитывает персонализацию. 

5. Если есть сомнения насчёт того или иного запроса — посмотрите реальную выдачу. Только её тоже нужно правильно настроить, чтобы увидеть корректные результаты.

🔥 Если позиции в вашем проекте не совпадают с выдачей, напишите в Поддержку любым способом: 

• в чат на сайте, 

• через бота в телеграме, 

• на почту support@topvisor.com 

• в сообщения группы ВКонтакте. 

Мы проанализируем позиции и выясним, почему они могут не совпадать с выдачей.

❗️ А в новой статье мы расскажем о том, совпадают ли отчёты Топвизора с реальной выдачей. Подписывайтесь на телеграм‑канал Журнала, чтобы не пропустить анонс!

Ещё по теме

Как проверять позиции в технических регионах в Яндексе 

Что такое Яндекс Вебмастер и как им пользоваться 

Проверка позиций: 9 фичей в Топвизоре, о которых вы не знали