Что там опять 16.09.2026

Cloudflare разрешит блокировать обучение ИИ, не ограничивая индексацию

Компания также заявляет, что Google, Microsoft и Apple согласились соблюдать этот принцип.

Cloudflare анонсировал новую настройку Disallow AI Training, которая позволяет владельцам сайтов запретить использование контента для обучения ИИ-моделей, но при этом сохранить доступ поисковых роботов и присутствие страниц в традиционной поисковой выдаче. Раньше это было проблемой для так называемых mixed-use crawlers — роботов, которые используются одновременно для поиска и обучения ИИ.

К таким роботам Cloudflare относит Googlebot, Bingbot и Applebot. Например, если полностью заблокировать Googlebot, сайт перестанет участвовать и в обычном Google Search. Новая настройка позволяет вместо этого передать в robots.txt соответствующее ограничение на ИИ-обучение. Cloudflare заявляет, что Google, Microsoft и Apple согласились соблюдать этот принцип.

При включении Disallow AI Training Cloudflare продолжит разрешать mixed-use crawlers доступ к сайту для поиска, но будет блокировать остальных ИИ-краулеров, работающих исключительно для обучения моделей. В их числе Cloudflare отдельно называет роботов Amazon, Anthropic и OpenAI. При этом блокировка обучения не должна влиять на поисковое ранжирование.

Одновременно Cloudflare вводит обозначение Accountable для операторов краулеров, которые предоставляют владельцам сайтов более прозрачный контроль. Для получения этого статуса оператор должен поддерживать отказ от ИИ-обучения, предоставлять возможность отказаться от использования контента в ИИ-ответах, показывать, какие URL использовались для обучения, и гарантировать, что отказ от обучения не повлияет на обычный поиск. Сейчас этим требованиям соответствуют или обязались соответствовать Apple, Google и Microsoft.

Cloudflare также планирует добавить более детальный контроль над AI Summaries. Компания хочет дать владельцам сайтов возможность управлять тем, какая доля их контента может использоваться в ИИ-ответах, а не ограничиваться простым разрешением или запретом. Ожидается, что такие настройки появятся в следующем году.

Источник: Блог Cloudflare

Читайте также: