Всё об алгоритме Google: как думает поисковая система

Адаптированный перевод статьи из блога Moz.

Алгоритм Google представляет собой миллионы строк программного кода, которые выполняются на сотнях тысяч серверов в более чем 20 дата‑центрах. Эта система состоит из эвристических алгоритмов и машинного обучения. Она постоянно адаптируется к поведению миллиардов пользователей.

Чтобы быть специалистом по продвижению в Google, недостаточно знать основы сканирования, индексирования и ранжирования сайтов. Нужно понимать, как Google «думает», как работает его алгоритм. В статье как раз об этом.

Как менялся алгоритм Google

Алгоритм Google постоянно адаптируется к приемам SEO. Факторы, на которые полагались ранние поисковые системы, сегодня мы называем «постраничными» или On‑page факторами. К ним относятся метаданные и контент. Этими факторами SEO‑специалистам было относительно легко управлять.

Когда Ларри Пейдж и Сергей Брин разработали алгоритм PageRank, они открыли мир «off‑page» факторов, которые основаны на ссылочном весе.

Хотя ссылками было сложнее управлять, так как они не зависели от одного сайта, со временем SEO‑специалисты начали создавать, покупать, обменивать ссылки, и даже строить сложные сети ссылок.

Поэтому Google снова пришлось адаптироваться. В 2011 году Эрик Шмидт сообщил, что Google внёс в алгоритм 516 изменений, основанных на результатах более чем 8 000 экспериментов. В 2020 году это число увеличилось до 4 050 улучшений, основанных на результатах 600 000 экспериментов.

Рассмотрим, как основные обновления алгоритма Google влияли на SEO (и как SEO влияло на них).

Panda — контроль качества контента

Разработка обновления Panda началась в 2011 году. В конечном итоге оно состояло из 28 официально подтвержденных обновлений и стало началом серьёзной борьбы с некачественным контентом в результатах поиска. Обновление Panda было добавлено в основной алгоритм Google в 2015 году.

Сначала обновление Panda было направлено на контент‑фермы — сайты, которые создают множество SEO‑текстов. Но в итоге оно стало касаться также и повторяющегося контента, некачественного пользовательского контента и малополезного контента, который создавался исключительно как место для размещения рекламы.

Вместе с этим обновлением появилась философия, что много контента — не гарантия успеха. Этой философии Google следует и сегодня. У контента должна быть определенная цель.

Penguin — борьба с SEO‑ссылками

Penguin разработали специально для того, чтобы «наказывать» сайты, которые манипулировали результатами поиска. Многие из обновлений Penguin были направлены борьбу с SEO‑ссылками.

Последствия были настолько тяжёлыми, что в 2016 году Google отменил многие карательные меры Penguin и взамен внедрил новое обновление алгоритма, которое обесценило большинство некачественных ссылок.

Ссылки по‑прежнему играют важную роль, но любые усилия, направленные на создание некачественных ссылок или на построение очевидных ссылочных сетей, — это впустую потраченное время и деньги.

Pigeon — локальный / мобильный интент

Обновление Pigeon размыло границы между локальной и органической поисковой выдачей. В блоках локальной выдачи стало использоваться больше органических факторов качества контента, а в органической выдаче появилось больше локализованных результатов поиска.

В течение длительного времени (и Pigeon — лишь часть этого процесса) наблюдалось повышение важности локализации для результатов поиска, находящихся за пределами блока локальной поисковой выдачи, и эта тенденция идёт рука об руку с ростом популярности мобильных устройств. Если у вас локальный бизнес или вы конкурируете с компаниями, которые продают товары в офлайн магазинах, а не только через интернет, то всё ваше SEO — это локальное SEO.

Rankbrain — машинное обучение (ML)

Спустя годы мы всё ещё не знаем, как именно работает обновление Rankbrain, но его запуск стал первым открытым признанием Google, что машинное обучение (ML, machine learning) — часть алгоритма органического поиска.

Подробнее о роли ML в SEO мы поговорим ниже, но одно из долгосрочных его последствий заключается в том, что разные отрасли и отраслевые вертикали начинают сильнее отличаться друг от друга. Больше не существует единого свода правил, который регулирует все варианты поисковой выдачи, и важно понимать, в какой конкурентной среде находитесь именно вы.

Hummingbird — естественный язык (NLP)

Специалисты по SEO, как правило, упускают из виду такие обновления инфраструктуры Google, как Caffeine и Hummingbird.

Выпустив обновление Hummingbird в конце 2013 года, Google по сути переписал основную архитектуру поиска, подготовив условия для изменений и инноваций на годы вперёд, включая достижения в области обработки естественного языка (NLP, natural language processing).

Мы всё чаще формулируем поисковые запросы именно так, как говорим в жизни: «cколько стоит ноутбук», «сколько служит ноутбук». Поэтому Google начал эффективно работать с естественным языком и отвечать на такой тип запросов:

Хотя эти достижения очень полезны для пользователей поисковых систем, они могут привести SEO‑специалистов в замешательство. Как нам ориентироваться на десятки или даже сотни вариаций одной и той же фразы?

За последние пару лет вы наверняка слышали термины RankBrain, BERT, GPT‑3 и многие другие. Неужели для того, чтобы стать высококлассными специалистами по SEO, нужны учёные степени в области машинного обучения?

Хотя мы считаем, что широкое понимание концепций машинного обучения может быть очень полезным, важно понимать, чего пытается добиться Google. Можно не знать, что такое BERT, но понимать, что BERT помогает Google лучше интерпретировать наиболее важные слова в контексте длинных поисковых запросов.

Как работает поиск на естественном языке

Допустим, ваша компания ориентируется на ключевые слова «high‑end vehicles» («автомобили премиум‑класса»), и вы составляете план исследования ключевых слов.

Вы отправляете такой поисковый запрос в Google и обнаруживаете на второй позиции следующий результат:

Обратите внимание: на странице встречается словосочетание luxury car («роскошный автомобиль»), но на этой странице вообще нет фразы «high‑end vehicles» или «high‑end» в каком‑либо контексте.

Хотя учёт синонимов в поиске появился ещё до появления BERT и, возможно, даже до RankBrain, это демонстрирует влияние естественного языка на поисковую выдачу. Google ищет не только по заданной формулировке, но и по синонимам.

Плюс поиска на естественном языке

Специалистам по SEO больше не нужно ориентироваться на полностью совпадающие ключевые фразы и специализировать контент под одну фразу.

Возьмём руководство Moz по SEO для новичков. По данным Keyword Explorer, эта страница ранжируется почти по 2 000 ключевых фраз, включая:

• «beginners guide to SEO» («руководство по SEO для начинающих»);

• «SEO for beginners» («SEO для начинающих»);

• «search engine optimization basics» («азы поисковой оптимизации»);

• «learning search engine optimization» («изучение поисковой оптимизации»);

• «search engine optimization fundamentals» («основные принципы поисковой оптимизации»).

Ориентировались ли авторы этой статьи на все эти 2 000 ключевых фраз (или даже на пять из них), когда писали её? Нет.

Они провели исследование и знали о важных вариантах фразы, например, о том, что можно использовать слова «SEO» и «поисковая оптимизация». Но затем они писали статью как обычные люди — использовали естественный язык, чтобы рассказать о подходе к изучению SEO, в результате чего сформировалась богатая база синонимов и вариаций.

Тот вид «прицельного», узконаправленного таргетинга, который специалисты по SEO могли использовать в начале 2000‑х годов, в эпоху обработки естественного языка может навредить.

Минус поиска на естественном языке

В то же время появление учёта синонимов в результатах выдачи привело к усилению конкуренции по многим ключевым словам. Раньше контент конкурентов, ориентированный на роскошные автомобили, мог даже не попасть в поле зрения при создании статьи об автомобилях премиум‑класса.

К счастью, есть отличный и всегда актуальный инструмент, благодаря которому можно понять, как Google обрабатывает естественный язык и ключевые идеи, то есть понять сами результаты поиска. Давайте вернёмся к поиску автомобилей премиум‑класса. Обратите внимание на связанные запросы, отображаемые в нижней части страницы с результатами поиска:

Сразу же можно заметить не только очень близкие фразы, но и синонимы, такие как «luxury» (роскошь), «luxurious» (роскошный) и «expensive» (дорогой), которые могут стать частью вашей ключевой идеи или даже более удачными целевыми ключевыми словами. Вы можете изучать страницы поисковой выдачи по нужным запросам, чтобы увидеть, как Google в настоящее время понимает естественный язык.

Система поиска ответов

Кажется, что Google постепенно превращается в систему поиска ответов, которая сама отвечает на вопросы, вместо выдачи результатов поиска с возможными ответами. Но на самом деле, всё зависит от самих поисковых запросов.

На некоторые запросы, например, «Сколько времени в Лондоне?», есть лаконичные ответы. Их можно легко обобщить:

Такой ответ не даёт больших возможностей для SEO. Теперь попробуем вопрос «Как придумали часовые пояса?» и посмотрим соответствующее выделенное описание (Featured Snippet), которое Google выдаёт в качестве ответа:

На подобный запрос невозможно исчерпывающе ответить двумя предложениями — и здесь можно найти пространство для SEO‑оптимизации.

Важно изучать, какие вопросы задают пользователи поисковой системы, и отказываться от мышления в рамках сжатых поисковых фраз, состоящих из одного или двух слов. Поисковая система развивается в сторону поиска ответов на вопросы, наподобие:

Так разговаривают люди, и профессионалу в области SEO, чтобы создавать стоящий контент, важно понимать, как и какие вопросы чаще задают пользователи. Возможно, Google никогда полностью не станет системой поиска ответов в прямом смысле этого слова, но каждый поиск — это вопрос.

Поведенческие факторы

Специалист по SEO может считать улучшение ранжирования сайта самоцелью, но смысл SEO в конечном итоге заключается в пользователе, который видит ТОП результатов поиска, нажимает на ссылку‑заголовок и взаимодействует с вашим сайтом или брендом.

С точки зрения Google повышение качества поиска в конечном итоге приводит к повторному посещению сайтов пользователями и к увеличению доходов от рекламы.

Есть несколько специфических методов, с помощью которых Google учитывает пользователей в алгоритмическом уравнении. Понимание логики, лежащей в их основе, очень важны для повышения эффективности SEO.

CTR

CTR (click‑through rate) — это соотношение количества кликов по сайту к количеству показов сайта.

Если вы давно занимаетесь SEO, то наверняка слышали споры о том, является ли показатель CTR фактором ранжирования. Google утверждает, что нет, в то время как SEO‑специалисты указывают на исследования на эту тему и эксперименты, которые свидетельствуют об обратном.

Мы не можем ответить на этот спорный вопрос в статье, но считаем, что сама тема вопроса важна и выступает ключевым аспектом продвинутого SEO.

Независимо от того, выступают ли CTR или другие показатели вовлеченности пользователей (показатель отказов, время пребывания на сайте и т. п.) ключевыми факторами ранжирования, Google определённо учитывает их.

Рассмотрим пример. Допустим, мы отправляем запрос «How do I do SEO?» (Как оптимизировать сайты) и получаем такой результат:

Перейдя на страницу, мы быстро понимаем, что это официальный ресурс Google, и решаем, что лучше почитать что‑нибудь непосредственно из сферы SEO. Поэтому мы возвращаемся на страницу результатов поиска. Вернувшись мы увидим что‑то вроде такой картины:

Заметили, что появился новый блок с альтернативными поисковыми запросами? Google понимает, что найденная и просмотренная страница нас не устроила, и предлагает более результативные варианты запроса. Система обнаружила, что мы быстро вернулись на страницу поисковой выдачи, и учла этот факт.

Можно привести множество примеров того, как Google явно беспокоится о показателях вовлечённости пользователей, но в пользу этих показателей есть и более очевидный аргумент — они побуждают пользователей к действию.

Никто не создает сайт и работает над ним только ради того, чтобы красоваться на первой странице Google. У разработчиков и SEO‑специалистов есть определённая цель в отношении пользователей поисковой системы. Для этого нужны клики и конверсии.

Сам по себе показатель CTR, хотя и является лишь одним из этапов этого пути, помогает понять, соответствуют ли наши результаты поиска (заголовки, метаданные и контент) ожиданиям пользователей и где мы можем что‑нибудь улучшить, особенно в случае небрендовых поисковых запросов.

Проще говоря, ориентированное на человека SEO полезно для бизнеса, независимо от того, какие именно факторы Google использует для измерения качества поиска и используются ли эти факторы в алгоритме Google.

E‑A‑T

E‑A‑T означает «Expertise, Authority and Trust» — экспертность, авторитетность и достоверность. Вот официальное заявление Google на эту тему:

Итак, факторы E‑A‑T повышают качество поиска, и специалистам по SEO необходимо принимать их во внимание. Но Google может использовать их, а может и не использовать, а если и использует, то не собирается разглашать, каким именно образом.

На той же странице Google ссылаются на ряд статей на эту тему от уважаемых специалистов по SEO, но напрямую сообщают, что не подтверждают правдивость этих статей.

Самый полезный и в то же время очевидный совет, который можно дать специалистам по SEO: высокая экспертность, авторитетность и достоверность страниц сайта улучшают SEO и полезны для бизнеса. Эти факторы особенно важны в так называемых отраслях YMYL (Your Money or Your Life), включая здравоохранение и финансовые услуги, где высоки потребительские риски и доверие имеет решающее значение.

Скорость работы сайта и Core Web Vitals

В июне 2021 года Google выпустил Page Experience Update и попытался представить скорость сайта в виде «Core Web Vitals». В настоящее время набор показателей CWV включает в себя LCP, FID и CLS.

LCP — основной контент страницы

LCP измеряет время, необходимое для отображения («отрисовки») вашего основного, видимого на первом экране, контента. По сути? этот показатель оценивает, насколько быстрой воспринимается загрузка страницы.

FID — задержка первого ввода

FID измеряет время, которое требуется сайту, чтобы отреагировать на первое взаимодействие с пользователем. У термина «взаимодействие» широкое определение, включая нажатие на ссылку или кнопку. Приходится ли пользователям вашего сайта ждать, чтобы начать взаимодействовать с ним?

Как улучшить значение FID в Core Web Vitals

CLS — совокупное смещение макета

CLS измеряет стабильность вашего контента. Например, контент сайтов с агрессивной рекламой может сдвигаться по мере загрузки рекламы. Подобное смещение контента может раздражать пользователей, просматривающих страницу.

CLS в Core Web Vitals: как улучшить

С одной стороны, здорово, что Google даёт возможность измерить показатели Core Web Vitals, предоставляя инструменты, такие как Lighthouse и Google Search Console. С другой стороны, будет неприятно, если у быстрого в целом сайта будут неудовлетворительные результаты измерений или оценка, которая не совсем соответствует действительности.

Главное, что работы над CWV всё ещё ведутся. И хотя полезно отслеживать эти показатели и повышать их, важнее признать стремление Google к улучшению поиска с точки зрения пользователей и к созданию сайтов с учётом их впечатлений.

Как делать SEO с прицелом на будущее

Если вы будете понимать, как «думает» Google, вы сможете увидеть, куда держит курс эта поисковая система, и сделать свою поисковую оптимизацию устойчивой к будущим изменениям.

Это не означает, что можно один раз полностью оптимизировать сайт и больше не заниматься SEO. Даже если бы алгоритм Google не менялся каждый день и конкуренты перестали бы ежедневно улучшать свои сайты, мир всё равно меняется.

Например, одним из самых негативных событий в истории поисковых систем стала пандемия COVID‑19, потому что она в корне изменила поведение пользователей: люди начали искать более достоверную информацию, стали по‑другому тратить деньги, стали интересоваться локальным бизнесом и путешествиями внутри страны.

Защита SEO от будущих изменений Google подразумевает, что вы можете предвидеть тренды, делать предположения о будущих обновлениях Google и снизить вероятность дорогостоящих ошибок.

Следите за намерениями Google и учитывайте их

Это не значит нервничать из‑за каждого заявления компании. Например, в 2014 году Google публично объявил о решении использовать HTTPS в качестве сигнала ранжирования, но в конечном итоге это обновление мало на что повлияло, и изменения в поисковой выдаче, связанные с защищёнными сайтами, возникли только через несколько лет.

PR‑кампании Google могут рассказать о намерениях Google, но придётся читать между строк и расставлять приоритеты в своей работе над SEO.

Пишите тексты для людей, а не для ПС

Последние достижения в области машинного обучения (ML) и обработки естественного языка (NLP) — хорошая новость для SEO. Эти достижения дают специалистам по поисковому маркетингу и контент‑маркетологам возможность писать естественные тексты для аудитории, зная, что со временем Google будет лучше понимать то, каким образом люди общаются.

Ваши шансы на успех в SEO будут расти, если вы будете разбираться не только в том, какие слова используют ваши клиенты, но и в вопросах, которые они задают, а также если вы будете предлагать ответы на них.

SEO начинается с используемых пользователями поисковых запросов, но заканчивается на вашем сайте в виде пользовательской активности.