Техническое SEO: базовые требования к сайту

Продолжаем серию подкастов по Теории SEO с Виктором Каргиным, создателем канала SEO chat.

В этом выпуске Виктор расскажет, что такое индексация и ранжирование, как код, хостинг и движок сайта влияют на SEO и какими сервисами провести технический анализ сайта.

Это десятый выпуск второго сезона подкастов. Новые выпуски выходят на всех доступных площадках:

Soundcloud
ВКонтакте
Яндекс.Музыка
Apple Podcasts
Google Подкасты

Подписывайтесь, чтобы получить уведомление раньше всех.

Если вы работаете в SEO или PPC, приходите в Топвизор-Подкаст, чтобы рассказать свой кейс, поделиться мнением или просто поболтать с коллегами.

Стать гостем

Техническая оптимизация – это то, что необходимо для индексирования и ранжирования страницы. Что означают эти понятия?

Индексация – это процесс сохранения и добавления поисковым роботом страницы в базу (индекс). Этот процесс происходит неравномерно и регулярно. Поисковый робот заходит на страницу, добавляет её в базу, а потом по этой базе осуществляет поиск.

Ранжирование – это сортировка сайтов, которые поисковик проиндексировал до этого, по релевантности. Это когда то, что лучше соответствует запросу пользователя, оказывается выше в поисковой выдаче.

Индексация и ранжирование – два совершенно разных процесса, которые следуют один за другим.

Процесс индексации похож на добавление книг в библиотеку. Поисковые роботы собирают информацию о страницах у себя в хранилище, а потом на основе интента пользователя, его запроса, отдают ту часть контента, которая более релевантна.

Если продолжать эту аналогию, то индексирование – это сбор книг в хранилище. Ранжирование – это выдача книги на стойке в библиотеке.

Стоит ли оптимизатору заботиться о техническом совершенстве сайта? Может достаточно создать крутой контент?

Я считаю, что не стоит подходить к этому с точки зрения перфекционизма. Должен быть баланс. Если на сайте есть крутой контент, но поисковая система не сможет увидеть его и проиндексировать, то он не появится в выдаче, и трафик идти не будет.

С другой стороны, сильно заморачиваться, чтобы всё было идеально, тоже не стоит. Например, чтобы был самый быстрый ответ сервера или сайт летал, как пуля. Во всём должен быть разумный баланс.

Главное, чтобы страницы были проиндексированы и пользователю было удобно пользоваться сайтом. Заботиться о двух-трёх миллисекундах не стоит. Хотя некоторые озадачиваются этим, когда речь идёт о больших проектах.

Достаточно того, чтобы страницы просто попали в индекс?

Это главное и самое основное. Есть условия, при которых страница должна проиндексироваться. Например, она должна выдавать ответ сервера 200. Код 200 говорит о том, что страница существует и сервер сейчас её пришлёт.

Кроме того, на неё должна стоять ссылка. Поисковые боты узнают о новых страницах через ссылки с других страниц. Точнее, со страниц, которые они уже проиндексировали.

Это самое важное, чтобы робот мог проиндексировать страницу. Есть ещё дополнительные требования: скорость ответа сервера, размер страниц и т. д. На индексацию могут повлиять много нюансов, но первое и самое основное – чтобы страница была и чтобы бот мог её найти.

На страницу должна ссылаться другая страница, чтобы поисковик её нашёл? Как ещё дать знать поисковику, что есть страница на сайте?

Существует несколько способов, чтобы дать роботу знать о странице.

Начнём с того, что Интернет – это скопление документов, которые объединены друг с другом ссылками. Поэтому ссылка – это самый простой и понятный способ, чтобы дать боту знать о новых страницах.

Помимо этого существует карта сайта.

Сейчас, говоря «карта сайта», обычно подразумевают XML-карту.

Раньше использовалась HTML-карта сайта.

Когда бот заходит на сайт, чтобы его проиндексировать, первым делом он запрашивает Robots.txt и XML-карту сайта и уже оттуда забирает все страницы сайта.

Если на отдельную страницу на сайте не ссылается никакая другая страница, то поисковики её не увидят?

Не совсем. Если у тебя есть страница, на которую ты не ссылаешься ни внутренними, ни внешними ссылками, но страница есть в карте сайта, то такую страницу боты проиндексируют. Но у неё будет параметр, что входящих ссылок нет. Тут работает антиспам-алгоритм, который может понижать её по релевантности из-за этого.

Желательно, чтобы на все важные страницы, которые вы продвигаете, всегда стояли ссылки. Хотя бы одна ссылка, но должна быть.

По идее можно ссылаться на другую страницу с помощью JavaScript, используя специальные теги.

Желательно, чтобы ссылка была в HTML без использования JS. Хотя в 2021 году ПС и научились нормально обрабатывать скрипты, но лучше этого не делать.

У Google была хорошая аналогия, которая объясняет, почему это не всегда удобно. Из-за этого процесс индексирования полной версии сайта со всем контентом затягивается.

Google использовал для этого аналогию двух волн. Сначала бот проходит и индексирует то, что есть в HTML без использования JS, а потом приходит, условно, другой бот, который забирает HTML-страницу с JS, со скриптами, CSS – со всем, что ему доступно, то есть не закрыто от индексации в файле Robots.txt. Затем он рендерит его в браузере и забирает уже полный контент.

Между этими двумя этапами для одной страницы может быть промежуток в несколько месяцев. Это не очень удобно. Если при первом индексировании страницы не ссылались друг на друга в HTML, то новые страницы будут долго индексироваться.

Или, чтобы сайт индексировался быстрее, можно указать все ссылки в карте сайта и не использовать JS.

Что ещё важно с технической стороны? Скорость загрузки?

Да. Есть даже такая ошибка, например, в Яндекс.Вебмастере: «ваши страницы очень долго отвечают боту».

Что это значит? Страница, HTML-код начинает отдаваться очень поздно после запроса адреса. После захода бота на сайт проходит 3 секунды, прежде чем ему придёт ответ со страницы.

Яндекс считает, что больше 3 секунд – это уже критично. Представьте, что вы загрузили страницу, а за 3 секунды HTML даже не появился, и браузер только начинает отрисовывать страницу. 3 секунды – это максимум, который лучше вообще не превышать. По опыту скажу, что желательно уложиться в 700 миллисекунд.

Соответственно, нужно минимизировать время на этот этап. Его можно достаточно много оптимизировать, всё зависит от быстроты сервера и от движка, как он оптимизирован, насколько быстро может отвечать, и от нагрузки на сервер, которая зависит от посещаемости.

Наверное, на это ещё влияет выбор хостинга?

В целом, да. Чем производительнее хостинг, тем лучше. Как правило, на панели хостинга есть статистика по нагрузке на сервер: насколько загружен центральный процессор, оперативная память, и т. д. Исходя из этого, нужно подбирать тариф. Если постоянно загружен процессор, то, возможно, нужно переехать на новый сервер. Хостеры часто в таких ситуациях подсказывают.

Рекомендуем прочитать: Как выбрать хостинг для SEO

У тебя есть какие-нибудь свои рекомендации по выбору хостинга?

Я всегда рекомендую выбирать хостинг по технической поддержке.

Если ты начинаешь работу с сайтом, то не очень понимаешь технические моменты администрирования, например, когда сайт упал. Важно, чтобы тех. поддержка была дружелюбная, быстро отвечала и помогала во всех аспектах.

Выбор движка тоже влияет на SEO? Есть ли у тебя какие-то рекомендации? Может, есть какой-то универсальный движок, который идеален с точки зрения технической оптимизации?

Идеального движка, конечно, не существует.

В целом, если вы делаете сайт и выбираете движок, то надо выбирать тот движок, на котором вы сможете быстрее разрабатывать сайт. Если сами его знаете либо у вас под рукой есть разработчик, который знает этот движок. Всё остальное практически не важно.

Самый популярный движок – WordPress. Он занимает больше половины рынка. Это из категории бесплатных. Но мне он не нравится. Точнее не нравится, как он устроен.

Изначально WordPress был разработан под блоги и всё ещё остался блоговым движком, хотя на нём пытаются делать магазины. Грубо говоря, из WordPress выпиливают WordPress, чтобы с ним можно было нормально работать.

Какой у тебя движок основной в работе?

Если я что-то делаю сам или для клиентов, то я делаю на MODX revolution.

Я бы советовал его использовать, но здесь зависит от предпочтений. Если ты совсем ничего не знаешь, то стоит разобраться с MODX прежде, чем работать с WordPress. После него WordPress не понравится. А если ты уже знаешь какой-то движок, то лучше на нём работать и никого не слушать.

У меня есть неплохое объяснение, почему я предпочитаю MODX Wordpress.

Когда ты начинаешь знакомиться с движком, MODX постепенно затягивает тебя в разработку. Ты сначала учишься делать простенькие шаблоны с помощью стандартных инструментов.

На входе тебе нужно знать только HTML и CSS, которые можно изучить где угодно, и парочку операторов, которые есть в MODX.

Постепенно ты вникаешь и понимаешь, что тебе надо бы ещё PHP изучить, чтобы немного интереснее делать шаблоны. Начинаешь немного программировать в PHP. Всё это безопасно, внутри админки, ты не создаёшь дыры в движке, не правишь его ядро и т. д.

После того, как разобрался с этим, ты начинаешь серьёзно программировать, разрабатывать свои расширения. Это происходит постепенно, как погружение с нуля в бездну.

У WordPress такого нет. Ты или сразу работаешь с визуальной частью и кучей плагинов, знаешь что и куда поставить, или сразу лезешь в PHP.

Влияет ли на техническое SEO выбор движка?

В целом, выбор движка напрямую никак не влияет. Важно, что он выдаёт наружу – HTML – и какие параметры: скорость ответа, есть ли там дубликаты. Всё от этого зависит.

У каждого движка есть косяки, которые надо решать. Есть они и у WordPress, и у MODX, и у Битрикс, и у Drupal.

В целом, это никак не влияет. ПС не видит то, что у тебя под капотом. Она видит только то, что у тебя есть HTML, который поисковик получает по запросу, и всё.

Как оценить техническую оптимизацию на сайте?

На самом деле, инструментов для этого существует много. Начиная с инспектора кода в Chrome и заканчивая сервисами, которые помогают получить ответ.

Открыть эту панель в браузере Chrome можно сочетанием клавиш Ctrl+Shift+I для Windows, ⌘+⌥+I для Mac или через меню в левом верхнем углу браузера:

Если говорить про другие инструменты, то самый распространённый и нужный инструмент – это разнообразные спайдеры и краулеры. В софте это обычно называется спайдер.

Можно провести технический анализ сайта через сервисы Screaming Frog и Netpeak Spider.

Ещё технический анализ сайта есть в Топвизоре. Инструмент помогает найти битые внутренние и исходящие ссылки, дублирующиеся заголовки и meta-теги, проверить редиректы, недоступные изображения, ошибки загрузки и неверные коды ответа сервера.

Как проанализировать свой сайт через Топвизор, читайте в Справке.

Это были базовые технические параметры сайта. В следующем подкасте мы разберём стандарты технической оптимизации и более подробно поговорим про техническое SEO.

Задавайте вопросы Виктору Каргину в комментариях, он ответит на них в следующем подкасте.