Русский
English
SEO-кухня
Своим опытом поделился Дмитрий Дамарнацкий, частный SEO‑специалист, автор телеграм‑канала «Продвигатель» и призёр Кейс‑чемпионата 2025.
Зачем ограничивать запросы ИИ‑агентов
На сайт в любом случае будут заходить боты. Некоторые, например краулеры, помогают странице: роботы индексируют сайт и добавляют его в выдачу. Другие боты создают избыточную нагрузку на сервер, имитируют поведение пользователя, а иногда и атакуют ваш сайт.
К ИИ‑агентам SEO‑специалисты относятся по‑разному. Иногда они делают всё возможное, чтобы их сайт попал в нейровыдачу — так ссылка на сайт и информация с него попадает на высокие позиции, поскольку ИИ‑блоки обычно находятся выше всех сайтов.
Но некоторые специалисты считают, что искусственный интеллект ворует клики: пользователь получает всю необходимую информацию на странице выдачи и не переходит на сайт, что плохо сказывается на позициях и конверсии.
Кроме того, ИИ‑агенты используют уникальные материалы со страниц без разрешения правообладателя. Из‑за этого в 2023 году газета New York Times подала в суд на OpenAI за использование её статей для обучения нейросетей. Представители газеты считают, что это поможет ИИ писать конкурентные статьи, и в будущем ChatGPT будет отбирать у газеты аудиторию.
Какие команды есть
Базовая директива в robots.txt для запрета сканировать тексты на сайте выглядит так:
User‑agent: имя робота Disallow: /
Если в строчке «User‑agent» прописать звездочку, вы заблокируете любым роботам сканировать страницу или сайт. Так владельцы защищают, например, внутреннюю документацию. Слеш в этой директиве означает запрет сканировать весь сайт или аккаунт.
Чтобы заблокировать ИИ‑агентов ChatGPT и Claude, нужно вставить в файл эту команду:
User‑agent: GPTBot Disallow: / User‑agent: ChatGPT‑User Disallow: / User‑agent: Google‑Extended Disallow: / User‑agent: ClaudeBot Disallow: / User‑agent: Claude‑Web Disallow: /
Это не единственный способ заблокировать ботов. Аналогичные инструменты предоставляют сервисы веб‑аналитики, похожие возможности есть в файле .htaccess.
Ограничения для ИИ‑агентов в robots.txt часто не работают. Уже есть кейсы, когда такие боты полностью игнорируют правила и продолжают собирать контент даже при указанном «Disallow: /».
В логах видно: часть запросов приходит от ИИ‑ботов, которым доступ формально закрыт, а часть — вообще от анонимных «серых» парсеров без честного User‑Agent. Robots.txt таких агентов физически не способен остановить, потому что директива — это всего лишь рекомендация, а не технический запрет.
Когда стоит задача действительно ограничить доступ к контенту, необходимы принудительные меры на уровне сервера: .htaccess, Nginx‑правила, WAF (Cloudflare и так далее). Они работают до того, как бот успеет прочитать хоть одну страницу. Но ИИ‑агенты могут подменять User‑Agent, поэтому защита должна быть многоуровневой.
Ещё о работе нейросетей в поиске 👇
ChatGPT не сможет заменить Google, но он расширяет возможности поиска
Как ИИ‑режим Google подбирает информацию для показа пользователю