Во время сканирования Google был обнаружен неочевидный meta noindex

Недавно один из пользователей рассказал, что GSC сообщил о наличии meta robots noindex на его странице, при этом в исходном коде атрибута не было.

Джон Мюллер предположил, что noindex иногда могут содержать защита от ботов, форма авторизации или межстраничное объявление. Отсюда и такая реакция GSC. Чтобы такого не происходило, по мнению Мюллера, для защиты от ботов лучше использовать ответ сервера 503.

Позже стало известно, что в описанном случае причиной неочевидного meta noindex стал NextJS, который выполнял рендеринг на стороне клиента вместо рендеринга на стороне сервера. HTML содержал тег noindex, который удалялся после рендеринга браузера. HTML‑код в консоли соответствовал коду после рендеринга через JavaScript, поэтому noindex там не оказалось. Получается интересная штука: Search Console может отображать «noindex» для страницы и в то же время отображать HTML‑код для страницы без «noindex».