Что там опять 22.10.2026

Google объяснил, что robots.txt не регулирует использование контента для обучения ИИ

Гэри Ийеш рассказал, что стандарт robots.txt регулирует доступ поисковых роботов к страницам сайта, но не определяет, как полученные данные могут использоваться после сканирования.

Представитель Google Гэри Ийеш пояснил, что стандарт robots.txt регулирует доступ поисковых роботов к страницам сайта, но не определяет, как полученные данные могут использоваться после сканирования. Об этом он рассказал в новом видео Google Search Central.

Чтобы запретить доступ к сайту конкретному ИИ-боту, необходимо указать его User-Agent в правилах robots.txt. При этом блокировка одного робота не запрещает сканирование сайта другими ботами.

Отдельно Google использует токен Google-Extended, который позволяет ограничивать использование контента для обучения будущих моделей Gemini и получения данных для ответов в приложениях Gemini. При этом он не влияет на присутствие сайта в Google Search и позиции в поиске.

Вместе с тем универсального стандарта, который позволял бы разрешить сканирование страниц, но отдельно запретить их использование для обучения ИИ, пока нет. В рабочей группе IETF обсуждается проект расширения robots.txt директивой Content-Usage, однако документ ещё не утверждён, а связанная с ним терминология пока не отражает согласованную позицию рабочей группы.

Также представитель Google Черри Проммавин рекомендовала использовать процентное кодирование для путей с неанглийскими символами и эмодзи в robots.txt. Google корректно обрабатывает и исходные символы, но другие или более старые роботы могут интерпретировать их иначе.

Источник: Search Engine Journal

Читайте также по теме: