Мюллер рассказал, нужно ли в robots указывать директивы index и follow

Метатег robots может использовать директивы noindex и nofollow. Они будут сообщать сканерам поисковых систем, что индексировать данную страницу и переходить по её ссылкам не нужно.

Некоторые оптимизаторы полагают, что раз Google поддерживает noindex и nofollow внутри robots, значит необходимы и обратные директивы — index и follow. Однако всё чуть иначе.

Один пользователь задал вопрос на Reddit: «Большинство сайтов содержат мета‑описания <meta name='robots' content='index, follow'. Однако сайт, над которым я работаю в данный момент, не содержит index. Какие у этого могут быть последствия?».

Мюллер ответил на вопрос таким образом: «Метатег robots с директивой index не имеет никакой функции (по крайней мере, в Google). Он полностью игнорируется, как и follow». Также Джон сослался на документацию — «Теги meta и атрибуты, которые распознаются роботами Google» и «Спецификации тега Robots (meta)». По его словам, в данных документах описаны все метатеги и функции, которые использует Google.

Суть в том, что index и follow работают в Google по умолчанию. Поэтому нет никакой необходимости указывать их в robots.

Недавно Мюллер рассказал, что переход сайта с www на без www фактически не влияет на ранжирование. Если позиции после этого падают, причина в чём‑то другом.