Google рассказал, почему домашняя страница не индексируется

Представители Google — Мартин Сплитт, Джон Мюллер и Гэри Иллис — поделились мыслями, почему домашняя страница сайта не индексируется. Рассуждали об этом в подкасте «Search Off The Record».

Технические причины

Если домашняя страница не индексируется, причина может быть в технической проблеме. Иллис заявил: «Чтобы всё нормально индексировалось, домашние страницы, особенно на новых сайтах, должны быть простыми. Если страница не индексируется, это указывает на серьёзную проблему».

По словам Гэри, проблема может быть вызвана несколькими причинами:

• Сайт недоступен для Googlebot;

• Googlebot блокируется файлом robots.txt;

• URL‑адрес домашней страницы не связан с какой‑либо другой страницей.

Чтобы устранить подобные проблемы, Иллис советует проверить журналы сервера, чтобы узнать, сканирует ли Googlebot домашнюю страницу. Затем проверить robots.txt. Если тот содержит блокирующую директиву, например, метатег noindex, её надо удалить.

Проблемы может вызывать канонизация. Если домашняя страница перенаправляет на другую страницу или канонизирует её, Google будет индексировать каноническую, а не домашнюю страницу.

Наконец, надо проверить, ведут ли на домашнюю страницу ссылки с внутренних страниц сайта. Если нет, Googlebot не может попасть на домашнюю страницу и проиндексировать её.

Нетехнические причины

Существуют нетехнические причины, которые тоже мешают индексации. Например, страница содержит текст шаблона, уведомления об авторских правах или графику в стадии разработки. Такую страницу Google может отказаться индексировать.

Google предпочитает индексировать ценный контент. Поэтому при создании домашней страницы надо следовать рекомендациям Google по наполнению.

Запастись терпением

Чтобы выявить причины, которые мешают индексированию домашней страницы, нужно терпение, считают эксперты Google. Технические проблемы решаются путём проверки журналов сервера, аудита и улучшения архитектуры сайта. Нетехнические можно решить, если улучшить качество контента, запросить повторную проверку и дать Googlebot достаточно времени для сканирования сайта.

Наконец, если на сайте ранее размещался спам или низкокачественный контент, домашняя страница может быть заблокирована как не соответствующая политике Google. В таких случаях Google будет просматривать весь сайт, прежде чем повторно разрешит индексацию домашней страницы.