Как бороться с дублированием контента с помощью канонизации

Дублирование может осложнить работу поисковых систем, которые не понимают, какую версию страницы нужно проиндексировать и показать пользователям.

Читайте, как дать понять ПС, какие страницы являются приоритетными, в переводе статьи Эбере Джонатан для Women in Tech SEO.

Почему контент может дублироваться

Дублированный контент — это один и тот же (или очень похожий контент), доступный по нескольким индексируемым URL‑адресам.

Причин у дублирования несколько.

1. Альтернативные версии веб‑сайта

К сайту может быть разный доступ:

• по протоколам HTTP и HTTPS, например: http://www.example.com/ и https://www.example.com/;

• в формате с и без www, к примеру: https://www.example.com/ и https://example.com/;

• в мобильной и настольной версиях, к примеру: m.example.com и example.com;

• c завершающим слешем или без него, например: https://www.example.com/ и https://www.example.com.

Ставить завершающий слеш в URL или нет: как лучше для SEO

2. Один и тот же контент доступен по разным URL‑адресам

Как правило, это происходит в результате фильтрации и сортировки — в особенности в интернет‑магазинах, когда две страницы содержат одинаковый контент, например: https://www.example.com/dog‑products/red‑harness/ и https://www.example.com/category‑dog/red‑harness/.

3. UTM‑метки создают новые URL‑адреса

UTM — это URL‑адреса, к которым добавлены коды отслеживания переходов. Например: https://www.example.com/pages/?KW=ragnar&PK.

4. Пагинация

Речь идет о об одинаковом или очень схожем контенте на всей серии страниц. Например: https://www.example.com/ и https://www.example.com/?page=2.

5. Международные страницы

URL‑адреса, которые были созданы для охвата пользователей в разных локациях. К примеру: https://en‑us.example.com/ и https://en‑gb.example.com.

6. Синдицированный контент

Синдицированный контент — тот, который публикуется повторно на разных ресурсах, — тоже может привести к дублированию.

Что такое канонизация и зачем она нужна

На многих ресурсах дубликаты одной веб‑страницы могут спокойно сосуществовать и даже индексироваться. В контексте SEO канонизация — это когда мы сигнализируем ПС о предпочтительной версии страницы; той, которую нужно показывать пользователям в поисковой выдаче.

Если вы заметили, что дубли страниц ранжируются выше, чем желаемая страница, с этим может помочь каноническая ссылка.

Элемент link с атрибутом rel="canonical" или, по‑другому, канонический тег (rel=“canonical”, каноникал) — это фрагмент кода, размещенный в заголовке HTML‑страницы, который указывает ПС на предпочтительную версию страницы.

Вот как это может выглядеть:

Поисковые системы идентифицируют и игнорируют дубликаты, если им об этом сообщить; но иногда и они ошибаются.

Представьте, что вы имеете дело с интернет‑магазином, продающим шлейки для собак в различных цветах. Для каждого цвета была создана отдельная страница — в общей сложности 10 разных URL‑адресов для шлеек. Проблема в том, что когда пользователь ищет «шлейку для собак» или делает связанные запросы, все 10 URL‑адресов начинают конкурировать за место в результатах поиска.

Дубли страниц могут ввести в замешательство поисковые системы: одни страницы не попадут в ТОП; другие, напротив, получат больше внимания; а некоторые — вообще не проиндексируются.

Канонизация призвана внести порядок. Она обеспечивает правильную идентификацию дублей страниц и ориентирует поисковые системы на распознавание и отображение единственной предпочтительной в результатах поиска.

Указывая каноническую страницу с помощью тега, вы даёте поисковым системам чёткое указание, какой версии контента отдать предпочтение.

Как Google определяет каноническую версию страницы

Когда Google сталкивается со множеством схожих страниц при индексации, он выбирает одну страницу как «предпочтительную». Но чем он руководствуется? В документации Google представлены некоторые факторы:

1. Приоритет мобильной версии над настольной

Google отдаёт предпочтение именно мобильной версии страницы в результатах поиска по сравнению с настольной версией. Причина в том, что все больше пользователей выходят в интернет с мобильных устройств.

2. Приоритет HTTPS над HTTP

Google предпочитает обслуживать защищенные страницы (HTTPS), а не незащищенные (HTTP), хотя существуют исключения.

Как перейти на HTTPS правильно: зачем, когда и как по шагам

3. Приоритет «чистых» URL над URL с параметрами

Google выбирает более короткие, «чистые» URL‑адреса, поскольку они гораздо удобнее для пользователей. Например, https://www.womenintechseo.com/mentorship/ будет предпочтительнее https://www.womenintechseo.com/blog/mentorship?2023=july/.

4. Приоритет страниц над PDF‑файлами и файлами других форматов

В качестве канонической версии Google обычно выбирает веб‑страницы, поскольку они доступнее для пользователей, чем PDF‑файлы или файлы других форматов.

5. Язык

Если вы создали страницы, ориентированные на несколько языков и местоположений, Google может считать язык запроса каноническим. То есть, если пользователь выполняет поиск на французском языке, Google выберет в качестве канонической французскую страницу.

6. Общие сигналы страниц

Google оценивает различные сигналы страницы, включая пользовательский опыт (UX), экспертность, авторитетность, надёжность (EЕAT). Страницы, демонстрирующие сильные сигналы в этих областях, с большей вероятностью будут выбраны в качестве канонической версии.

Какие факторы способствуют передаче канонического сигнала

Канонический элемент — это самый простой способ сообщить Google, что существует версия данной страницы, которую вы хотели бы проиндексировать.

Включение <link rel="canonical"href=https://www.example.com/> в HTML‑заголовок страницы служит сигналом. Но поскольку канонический тег является подсказкой, а не директивой, иногда он игнорируется:

Как устранять такие неполадки? Вот что поможет подать Google более заметный сигнал:

1. Протокол HTTPS

Google отдает предпочтение защищенным страницам (HTTPS), а не (HTTP).

2. «Чистая» структура URL‑адреса

Упрощение структуры URL предпочтительной страницы усиливает канонический сигнал.

3. Внутренняя ссылка

Убедитесь, что вы ставите внутренние ссылки только на каноническую версию страницы — Google будет сложно не заметить ваш выбор.

4. Аннотации hreflang

Включение аннотаций hreflang на страницы сообщает Google о местоположении и/или языковом таргетинге, что способствует ранжированию наиболее релевантной версии страницы.

5. Карта сайта (sitemap.xml)

Включение URL‑адресов в карту сайта указывает Google, что вы считаете эти страницы приоритетными.

Что такое sitemap и как её создать

6. Внешние ссылки

Когда другие веб‑сайты ссылаются на предпочитаемую вами страницу, это является сильным сигналом для Google, что пользователи находят контент ценным и полезным. Убедитесь, что вы запрашиваете ссылки именно на каноническую версию страниц.

7. 301‑й редирект

Будьте осторожны! 301‑й редирект следует рассматривать только в том случае, если нет веских причин для существования нескольких версий страницы, и вы намерены окончательно объединить эти версии страниц. Внедрение редиректа 301 не только гарантирует, что пользователи перейдут на правильную версию, но также передаст ссылочный вес и другие сигналы ранжирования.

Всё это указывает Google на предпочитаемый вами URL‑адрес и помогает продемонстрировать, что канониклы на страницах были созданы намеренно — и их следует соблюдать.

Проверка сайта на канонические ошибки и возможности

По шагам:

1. Исследуйте канонический статус

Начните со сканирования вашего сайта при помощи, например, Screaming Frog.

Перейдите на вкладку «Canonicals»: изучите процент канонизированных страниц, отсутствующие канонические страницы, автореферентные теги каноничности, множественные теги каноничности и неиндексируемые канониклы.

Анализ этих данных даст представление о текущей ситуации и поможет выявить потенциальные проблемы.

2. Экспортируйте и изучите страницы

Экспортируйте все страницы и проведите более тщательное исследование данных. Правильно ли использованы канонические теги, и указывают ли они на нужные страницы?

3. Проверьте сканируемость и индексируемость

Убедитесь, что в результате сканирования и индексации выбранные канонические страницы возвращают код 200 ОК.

Коды ошибок HTTP: полный список ошибок сервера

4. Проверьте индексирование в Google Search Console

Более детально разобраться в ситуации поможет отчёт об индексировании страницы в GSC, где можно изучить все случаи, когда Google посчитал страницу дубликатом и определил релевантной другую.

5. Проанализируйте расхождения в данных

Если аудит выявит случаи несоблюдения канонических подсказок или не соответствующего ожиданиям ранжирования страниц, следует разобраться в причинах.

Чтобы определить, какую страницу Google выбирает канонической вместо предпочитаемой, проверьте URL‑адреса в GSC.

6. Усильте канонические сигналы

Оцените, обладают ли канонические страницы всеми факторами, необходимыми для усиления канонического сигнала. О них мы писали выше.

Вот так выглядит аудит канониклов схематически:

Как сделать качественный SEO‑аудит сайта самостоятельно: полное руководство

Как внедрить канонизацию

Атрибут rel="canonical" можно внедрять двумя способами.

1. Канонический элемент в HTML

Включите атрибут с URL‑адресом, который указывает на предпочтительную версию, в заголовок HTML‑кода страницы‑дубликата. Например:

<html>

<head>

<title>Red Dog Harnesses</title>

<link rel="canonical" href="https://example.com/dog‑products/red‑harness" />

<!‑‑ other elements ‑‑>

</head>

<!‑‑ rest of the HTML →

При реализации канонического тега используйте абсолютные, а не относительные пути: https://www.dogstore/dog‑harness/red‑harness/ вместо dogstore/dog‑harness/red‑harness/.

Хотя зачастую внедрять элемент канонической ссылки в JavaScript не рекомендуется, при отсутствии альтернатив можно прибегнуть и к этому варианту. Но будьте осторожны: неправильная реализация может привести к каноническим проблемам на уровне всего сайта и неожиданным результатам.

2. Каноническая ссылка в HTTP‑заголовке

Для документов — PDF‑файлов, XLX, Docx, изображений или видео — необходимо внедрить канонический тег или X‑Robots‑Tag в HTTP‑заголовок, а не HTML‑код страницы. Для этого метода потребуется доступ к файлу конфигурации сервера.

Вот как это будет выглядеть:

HTTP/1.1 200 OK

Content‑Length: 19

...

Link: <https://www.example.com/downloads/dog‑names.pdf>; rel="canonical"

Распространенные ошибки, которых следует избегать

Канонические цепочки

Когда канонический тег указывает на URL‑адрес, который имеет другой канонический тег или перенаправление, создаётся каноническая цепочка.

Например, если страница «шлейка для собак» является канонической для страницы «красная шлейка», но страница «шлейка для собак» перенаправлена или имеет собственную каноническую ссылку на страницу «товары для собак», это создает противоречивый сигнал. Google в этом случае может вообще отказаться от подсказки.

Эта проблема может возникнуть из‑за неправильного внедрения канонического кода с помощью JavaScript или ошибок в плагинах CMS. Периодические аудиты канониклов могут помочь выявить и устранить подобные проблемы.

Размещение канонического тега в теле страницы

Информация о странице, включая канонические теги, должна быть добавлена в заголовок. Канонические теги в теле страницы Google будет игнорировать. Проверка того, где появляются канонические теги, поможет определить, не переместили ли элементы — например, iframe или незакрытые теги — canonical в тело ваших страниц.

Канонизация страниц с разбивкой по страницам

Многие предпочитают канонизировать страницы пагинации, чтобы избежать конкуренции из‑за схожего контента. Однако это может затруднить обнаружение и индексацию отдельных страниц, на которые ведут ссылки из страниц пагинации. В этих случаях на страницах пагинации следует внедрять автореферентные теги.

Отправка противоречивых канонических сигналов

Если вы установили канонический тег для определенной страницы, но затем включили в sitemap другой вариант этой страницы или внутреннюю ссылку на этот вариант, он посылает смешанный сигнал и может заставить поисковые системы выбрать каноническую версию страницы самостоятельно.

Канонизация междоменного или синдицированного контента

Раньше это считалось хорошей практикой. Однако Google обновил свою документацию, заявив:

Согласно обновленной документации Google, наиболее эффективным решением для партнеров является блокирование индексации синдицированного контента.

Ответы на частые вопросы

Можно ли использовать 301‑й редирект вместо канонических тегов?

Несмотря на то, что редирект и канонические теги являются сигналами канонизации, они служат разным целям и не должны использоваться взаимозаменяемо.

Если вы хотите объединить две страницы в одну и сделать их доступными по одному URL‑адресу, то стоит отдать предпочтение редиректу.

Если нужно объединить похожие страницы и сохранить доступ к ним по отдельности, указав при этом предпочтительную версию для результатов поиска, рекомендуется использовать атрибут rel=”canonical”.

Если наличие одинакового контента на нескольких URL‑адресах не имеет смысла, следует использовать 301‑й редирект.

Что такое редирект и как он работает — Глоссарий

Будут ли проиндексированы канонизированные страницы?

Если Google последует подсказке, он объединит страницы и проиндексирует указанную каноническую страницу.

Однако это не означает, что страница, с которой перенаправили на другую, — канонизированная, — совсем не может быть проиндексирована.

Единственным способом обеспечить отсутствие страницы в результатах поиска является применение тега noindex.

Зачем использовать канонический тег с аннотацией hreflang?

Hreflang сигнализирует поисковым системам, какой URL‑адрес вы хотите показывать пользователям, которые находятся в разных местах или ищут на разных языках.

Представьте, что у вас есть страница «en‑us» для англоговорящих, которые ищут товары для собак в США, и страница «en‑gb» для англоговорящих в Великобритании.

Можно ли использовать канонический тег и метатег robots одновременно?

Во время видеовстречи «Google SEO office‑hours» Джон Мюллер прокомментировал вопрос о каноничности и отсутствии индексации следующим образом:

🤓 Ещё по теме

Canonical: что это за атрибут и как прописать канонический адрес страницы

Как «читать» исходный код страницы: теги и атрибуты важные для SEO

Как удалить 12 тысяч дублей и попасть в ТОП Яндекса за три месяца