Google добавил новую директиву для метатега robots

С её помощью можно сообщить Google, что контент, который встроен в страницу через iframe или аналогичные теги HTML, необходимо индексировать, даже если исходная страница с этим контентом закрыта тегом noindex.

Директива indexifembedded наиболее актуальна для СМИ. Например, когда СМИ нужно, чтобы контент индексировался, если он встроен на сторонних страницах, но не на их собственных. До этого им приходилось использовать тег noindex.

Indexifembedded работает в сочетании с noindex только при встраивании контента через iframe или HTML-теги типа <object>:

<meta name="googlebot" value="noindex" />
<meta name="googlebot" value="indexifembedded" />
<!-- OR -->
<meta name="googlebot" value="noindex,indexifembedded" />

Директиву indexifembedded также можно указать в заголовке HTTP:

X-Robots-Tag: googlebot:noindex

X-Robots-Tag: googlebot:indexifembedded
...
OR
…
X-Robots-Tag: googlebot:noindex,indexifembedded

Подробнее о новой директиве в блоге Google Search Central.