Google проиндексировал закрытые чаты Claude

Появление в поисковой выдаче Google общедоступных ссылок на переписки в Claude вновь привлекло внимание к различиям между директивами Disallow и noindex. Этот случай стал наглядным примером того, что запрет на сканирование не гарантирует отсутствия страницы в индексе Google.

Причиной стало сочетание двух настроек: страницы с общими чатами были закрыты от сканирования через robots.txt, но при этом содержали директиву noindex, которую Google не смог увидеть из-за запрета на обход. В результате поисковик мог добавить URL в индекс, если обнаруживал ссылки на него на других ресурсах.

Google уже давно указывает в своей документации, что директива noindex работает только в том случае, если поисковый робот может просканировать страницу и прочитать соответствующий тег или HTTP-заголовок. Если доступ к странице заблокирован через robots.txt, поисковая система не увидит инструкцию и URL может остаться в индексе без содержимого страницы.

Этот случай служит очередным напоминанием для SEO-специалистов и владельцев сайтов: Disallow управляет сканированием, а noindex — индексированием. Использование этих директив без понимания различий может привести к неожиданному появлению URL в поисковой выдаче.

Источник: Search Engine Journal

Читайте также по теме: