Русский
English
Что там опять
Cloudflare объявила о новом этапе регулирования доступа ИИ-систем к контенту
С 15 сентября 2026 года веб-краулеры, используемые для традиционного поиска (например, Google Search), будут отделены от ботов, работающих с ИИ-агентами и обучением языковых моделей. По умолчанию Cloudflare начнёт блокировать «смешанные» краулеры на страницах с рекламой.
На этом фоне представитель Google Джон Мюллер заявил, что предложенная Cloudflare директива Content-Signal для файла robots.txt не имеет практического значения.
По словам Мюллера, современные поисковые краулеры и большие языковые модели (LLM) не используют директиву Content-Signal. Он отметил, что она была разработана самой Cloudflare и, насколько ему известно, не влияет на работу поисковых систем или ИИ-моделей. Вместо этого её использование лишь увеличивает объём и сложность файла robots.txt.
Мюллер также подчеркнул, что веб-краулеры обрабатывают только поддерживаемые ими директивы robots.txt, игнорируя любые неизвестные параметры.
Источник: Techcrunch
Читайте также по теме:
ИИ в Google Таблицах научился самостоятельно исправлять ошибки в формулах