97% файлов llms.txt не читаются, показало исследование 137 тыс. сайтов

Главные выводы из исследования

• 28% из 137 тыс. доменов, использующих Ahrefs Web Analytics, публикуют файл llms.txt.

• 97% этих файлов получили ноль запросов в мае 2026 года. Их вообще никто не запрашивал!

• 96% запросов к файлам llms.txt поступили от ботов.

• 19,5% запросов пришлось на идентифицируемые ИИ‑инструменты — среди тех 3% файлов, которые вообще не были проигнорированы. На первом месте оказался GPTBot, на втором — Claude‑Code, опередивший всех ботов ИИ‑поиска и ИИ‑ассистентов.

• 12% запросов пришли от индустрии, которая изучает саму себя: инструментов GEO/AEO, сервисов для проверки llms.txt и исследователей.

• Ни одного запроса от ИИ‑ботов не было к несуществующим файлам llms.txt. Они сами их не ищут.

• Аудит llms.txt в Chrome Lighthouse дал примерно 1 из 1 000 запросов.

В конце мая 2026 года Google занял сразу обе стороны в споре о llms.txt, причём с разницей менее чем в неделю. В новом руководстве Google по оптимизации сайтов для генеративных ИИ‑функций поиска в разделе, буквально названном «Мифы о генеративном ИИ», компания заявила, что машиночитаемые файлы вроде llms.txt не нужны для появления в генеративном ИИ‑поиске.

Через несколько дней команда Chrome добавила проверку llms.txt в экспериментальные аудиты Agentic Browsing в Lighthouse. В документации объяснили, что без такого файла агентам может потребоваться больше времени на обход сайта и понимание его структуры.

Когда зарубежная SEO‑специалистка Лили Рэй спросила Джона Мюллера из Google об этом противоречии, он объяснил, что llms.txt «не сделан для поиска». Это всего лишь «временная опора, возможно, позволяющая сэкономить немного токенов» для ИИ‑инструментов, которые анализируют документацию разработчиков. Обычным сайтам, по его словам, не нужно обращать на это внимание. 

Мюллер также заявил, что владельцы сайтов, которые проверят логи сайта, обнаружат совсем небольшой объём трафика от ИИ‑агентов. Команда Ahrefs решила это проверить.

Что такое llms.txt — и чем он не является

llms.txt — это один индексный файл в формате Markdown, размещённый в корневой папке сайта. Его предложил в 2024 году Джереми Ховард, сооснователь Answer.AI и fast.ai. Файл содержит краткое описание сайта и ссылки на наиболее важный контент на нём.

Идея заключается в том, что LLM и агенты смогут использовать эту информацию для ориентации на сайте, не обходя его целиком.

Позже, по мере распространения идеи об llms.txt, SEO‑индустрия добавила к llms.txt концепцию «видимости в ИИ». Предполагалось, что ИИ‑платформы будут отдавать предпочтение сайтам с таким файлом.

В этом исследовании анализировался именно индексный файл llms.txt — и только он.

Зачем нужен YML‑файл и как его создать 

Методология исследования

Исследование охватывает все 137 210 доменов из Ahrefs Web Analytics, которые получали трафик в мае 2026 года.

Для каждого домена команда Ahrefs проверяла, есть ли в корневой папке сайта файл llms.txt с HTTP‑ответом 200. Затем с помощью Ahrefs Bot Analytics аналитики изучили каждый запрос к путям /llms.txt по всей выборке и разделили их по HTTP‑ответу (200 или 404), каналу и конкретному user‑agent.

Чтобы отсеять ложные 404 и файлы, которых на самом деле не существует, исследователи также проверяли, действительно ли каждый файл написан в Markdown, а не в HTML, и искали в заголовках и содержимом признаки ошибок вроде 404 или Page not found.

Теперь изучим выводы исследования. 

28% доменов публикуют llms.txt

Руководство Google Search говорит, что llms.txt можно не использовать, команда Chrome проверяет его наличие, а Мюллер называет его временным решением для инструментов разработчиков. Так насколько же на самом деле распространён llms.txt?

Среди 137 тыс. доменов из исследования такие файлы публикуют 28%.

Получается, что больше одного домена из четырёх — около 38 тыс. сайтов — уже внедрили llms.txt, хотя ни одна крупная ИИ‑платформа так и не заявила, что будет его читать.

То есть llms.txt распространился прежде всего из‑за предположения, что ИИ‑платформы когда‑нибудь начнут использовать этот файл, а не потому, что кто‑то подтвердил: они действительно это делают.

97% файлов llms.txt не получают ни одного запроса

Почти каждый файл llms.txt из исследования остаётся непрочитанным.

Из примерно 38 тыс. доменов с уже существующим файлом 97% вообще не получили к нему ни одного запроса в мае. Ни от ботов. Ни от людей. Совсем ничего.

Оставшиеся 3% — около 1,1 тыс. доменов — забрали на себя весь трафик, который команда Ahrefs зафиксировала для llms.txt.

Если опубликовать llms.txt сегодня, самый вероятный сценарий — что его никогда никто не запросит.

Но у тех 3% файлов, которые всё же получают запросы, гости довольно любопытные. Именно на них команда Ahrefs и сосредоточилась в оставшейся части исследования.

96% запросов к llms.txt приходят от ботов

llms.txt создаётся для машин, и читают его тоже в основном машины.

Среди файлов, получавших трафик, 96% запросов пришли от ботов. На людей осталось всего 4% — и, судя по всему, значительная часть этих запросов приходится не на живой интерес, а на SEO‑специалистов, которые скидывают ссылки на llms.txt в чатах и мессенджерах. После этого боты предпросмотра ссылок автоматически подгружают файл, чтобы показать превью.

Perplexity — один из ИИ‑поисковиков, которым llms.txt вроде бы должен помогать. И то, что обычный бот предпросмотра ссылок в мессенджере обращался к этим файлам чаще, чем поисковый бот Perplexity, красноречиво говорит о том, насколько на самом деле мал интерес ИИ‑поиска к этим файлам.

LLM всё ещё не читают ваш HTML. И вот почему 

77% ботов, читающих llms.txt, не относятся к ИИ‑инструментам

Многие сайты публикуют llms.txt, рассчитывая, что это повысит шансы появиться в ответах ChatGPT, получить цитирование в Perplexity или попасть в AI Overviews.

Но данные показывают другую картину: 77% ботов, которые запрашивают llms.txt, вообще не относятся к ИИ‑инструментам.

Чтобы понять, какие именно боты обращаются к llms.txt, команда Ahrefs распределила каждый user‑agent по 12 категориям.

По отдельности ни одна категория ИИ‑ботов не входит даже в первую четвёрку. Больше запросов отправляют:

• SEO‑инструменты аудита — 21,7%;

• прочие и неопознанные боты — 14,9%4

• обычные веб‑краулеры — 13,1%;

• инструменты технического профилирования — 11,6%.

Каждая из этих категорий отправляет больше запросов, чем любая отдельно взятая категория ИИ‑ботов.

Крупнейшая отдельная категория ИИ — ИИ‑агенты, на них пришлось 10,5% запросов — занимает только пятое место.

Но если сложить все четыре категории ИИ (краулеры для обучения, боты извлечения информации, ассистенты и агенты), вместе они дадут 19,5%. Тогда ИИ‑боты станут крупнейшей единой группой во всём трафике. То есть трафик ботов складывается из трёх частей:

1. ИИ‑боты, которые действительно используют файл, — 19,5%.

2. Разрозненные анонимные скрейперы — 14,9%.

3. Индустрия, которая изучает и проверяет саму себя, — 12,1%.

Разберём несколько этих категорий подробнее.

LLM Seeding: новая стратегия в SEO, способная вывести ваш бренд на новый уровень 

19,5% запросов приходятся на ИИ‑ботов

Среди запросов, которые действительно доходят до файлов llms.txt, 19,5% приходится на идентифицируемых ИИ‑ботов.

ИИ‑боты — крупнейшая группа среди тех, кто вообще обращается к llms.txt. Но если посмотреть на распределение внутри самих ИИ‑ботов, окажется, что файл почти не используют именно те инструменты, о которых обычно думают в первую очередь.

Команда Ahrefs разделила их на четыре группы:

1. ИИ‑агенты и агентная инфраструктура — агенты, которые действуют от имени пользователя, а также инструменты, которые обходят сайты в их интересах.

2. Краулеры для обучения ИИ — собирают данные для создания и обучения моделей.

3. ИИ‑ассистенты — просматривают веб в реальном времени от имени пользователя.

4. ИИ‑боты извлечения информации — загружают страницы, чтобы ответить на пользовательские запросы внутри ИИ‑платформ.

Агентный веб — главный потребитель: 10,5% запросов

ИИ‑агенты и инфраструктура, обслуживающая их работу, генерируют 10,5% запросов к llms.txt — больше, чем любой другой тип ИИ‑ботов.

Это подтверждает предположение, которое давно высказывали многие в индустрии. Ранее Джон Мюллер говорил, что llms.txt лучше всего работает как справочный материал для ИИ‑агентов, которыми пользуются программисты. А Крис Лонг, основатель Nectiv, отмечал: даже если llms.txt не помогает в поиске Google, файл всё равно может пригодиться — например, если клиенты компании обращаются за рекомендациями к Claude Code.

Данные Bot Analytics подтверждают обе идеи. llms.txt заметно реже запрашивают поисковые и ИИ‑боты, которые вроде бы должны отвечать за видимость сайта, и гораздо чаще — агентные инструменты, которые ищут структурированную информацию и/или действуют от имени пользователя.

Если не считать statespace‑indexer и GPTBot, чаще всех к llms.txt обращался именно Claude Code, агент для разработчиков от Anthropic, — чаще, чем любой ИИ‑бот извлечения информации, ИИ‑ассистент или краулер для обучения.

Краулеры для обучения — вторая крупнейшая категория ИИ (5,3%)

Файлы llms.txt чаще попадают в обучающие корпуса данных, чем используются для ИИ‑поиска. Краулеры для обучения запрашивают llms.txt почти в пять раз чаще, чем ИИ‑боты извлечения информации.

Получается, что если llms.txt и способен как‑то повлиять на видимость бренда в ИИ, то, скорее всего, это влияние проявляется на более раннем этапе — ещё до того, как формируется ответ пользователю.

Среди всех краулеров для обучения чаще всего к llms.txt обращается GPTBot — с большим отрывом от остальных.

Краулера Gemini в этом списке нет, потому что отдельного краулера у Gemini попросту не существует. Google обучает и использует Gemini на контенте, который собирает обычный Googlebot, а Google‑Extended — это не отдельный краулер со своим user‑agent, а токен в robots.txt, которым издатели могут воспользоваться, чтобы отказаться от такого использования.

Сам Googlebot запросил файлы llms.txt около 900 раз в мае, но здесь нет особого интереса к llms.txt как таковому. Googlebot регулярно обращается к любому URL, который находит на сайте в рамках обычной индексации, и llms.txt обходит точно так же, как sitemap или любую другую страницу.

ИИ‑боты извлечения информации почти незаметны (1,1% всех запросов)

По данным Ahrefs, на ИИ‑ботов извлечения информации приходится всего 1,1% запросов среди всех ИИ‑ботов. Даже если сложить их с ИИ‑ассистентами и краулерами для обучения, вместе эти три категории дают лишь 8,9% — на 1,6 процентного пункта меньше, чем одни только ИИ‑агенты.

В сумме OAI‑SearchBot, PerplexityBot и поисковый краулер Claude сделали лишь несколько сотен запросов на тысячи сайтов.

Продуктовый подход в SEO: что это, для чего нужно и как это работает

12% запросов приходят от инструментов, которые изучают llms.txt, а не используют его

Вокруг llms.txt уже успела сложиться целая экосистема инструментов для аудита, оценки, проверки и изучения стандарта — и это при том, что до сих пор не установлено, читают ли его вообще крупные ИИ‑платформы.

Три категории вместе дают 12% всех запросов.

GEO/AEO-инструменты (5,8%)

Коммерческие инструменты сканируют сайты и оценивают, насколько они готовы к ИИ‑поиску и обнаружению агентами. Наличие llms.txt — лишь один из множества сигналов, которые они учитывают.

Самым активным оказался CairrotReadinessBot — он принадлежит Cairrot, AEO‑платформе для WordPress, запущенной в конце 2025 года. К этому же тренду относятся и популярные конструкторы сайтов вроде Framer, Lovable и Wix — они встраивают проверки готовности к ИИ прямо в свои продукты.

Получается, что llms.txt стал стандартной функцией платформ раньше, чем самостоятельным осознанным решением вебмастеров.

Боты обнаружения llms.txt (3,6%)

Сложилась целая экосистема инструментов, которые каталогизируют файлы llms.txt, хотя почти никто больше их не читает... Специализированные сканеры, валидаторы и каталоги, созданные исключительно ради llms.txt, отправляют больше запросов, чем ИИ‑боты извлечения информации и ИИ‑ассистенты, вместе взятые.

Исследовательские боты (2,7%)

Крупнейший отдельный исследовательский краулер в наборе данных представляется как prompt‑injection‑survey/1.0.

Кто‑то целенаправленно изучает llms.txt как потенциальный источник prompt injection — вредоносных инструкций, которые ИИ‑агенты могут по ошибке принять за данные, которым можно доверять.

ИИ‑инструменты никогда не ищут llms.txt, если такого файла на сайте нет

А значит, сама по себе публикация файла не ставит сайт «на радар» ИИ. Команда Ahrefs проанализировала каждый запрос к /llms.txt, который вернул 404, и увидела самое чёткое разделение бот‑трафика во всём исследовании:

• у существующих файлов 96% запросов пришли от ботов;

• у отсутствующих файлов 98% запросов пришли от людей;

• доля ИИ‑ботов среди запросов к несуществующим (404) файлам — 0%.

Люди, которые заходили на несуществующие llms.txt, скорее всего, просто вбивали URL вручную в браузере — вероятно, это SEO‑специалисты проверяли сайты конкурентов.

Как проверить собственный трафик ботов к llms.txt

Чтобы увидеть, какие боты реально обращаются к вашему llms.txt, можно открыть Ahrefs Bot Analytics (не работает в России) и добавить фильтр:

Page URL Contains → llms.txt → Apply

Это ограничит данные запросами к вашему файлу llms.txt (а заодно покажет и любые другие страницы, в URL которых встречается llms.txt — например, статьи о нём). Кстати, у самого Ahrefs файла llms.txt нет, но некоторые боты всё равно обращаются к этому адресу, и в отчёте это видно по статусу 404.

Дальше стоит проверить:

• Visits over time — переключиться между режимами By bot и By category, чтобы понять, растёт ли трафик, держится стабильно или резко подскочил;

• Bots table — посмотреть, какие именно боты запрашивают файл;

• Last status в разделе Crawled pages — проверить код ответа.

Код 404 для /llms.txt означает, что боты запрашивают файл, которого на сайте на самом деле нет. Это полезная проверка: многие сайты получают запросы к llms.txt, даже ни разу его не опубликовав. Трафик есть — файла нет.

В верхней части страницы можно также включить фильтр AI bots, чтобы отсечь остальных краулеров и увидеть только запросы, связанные с LLM.

Что всё это значит — стоит ли создавать файл llms.txt на своём сайте

Если цель — появляться в ChatGPT, Perplexity или AI Overviews, то llms.txt по большей части остаётся декорацией. ИИ‑поисковики почти не запрашивают эти файлы, ни одна ИИ‑система не ищет их самостоятельно, а 97% уже существующих файлов вообще не находят ни одного читателя.

И не стоит забывать: запросы — это самая благоприятная метрика из всех, что есть у llms.txt. Использовали ли боты полученную информацию хоть как‑то — это уже отдельный вопрос, на который данные ответа не дают.

Вот плюсы и минусы.

Главные выводы и советы 

Сейчас минусы публикации llms.txt перевешивают плюсы. Если цель — появиться в ИИ‑поиске, есть более надёжные способы повысить видимость, чем создавать этот файл. Но если всё же хочется попробовать создать llms.txt, автор статьи советует вот что:

1. Сначала проверьте собственные логи. Вероятность того, что файл вообще никто не прочитает, — 97%.

2. Поручите создание файла платформе для сайтов. Wix уже генерирует такие файлы автоматически, а Framer и Lovable проверяют их наличие. В течение года llms.txt вполне может стать такой же стандартной функцией CMS, как sitemap. И раз польза от файла пока не доказана, разумно свести собственные затраты на его создание к минимуму.

Какой движок выбрать для сайта под SEO 

3. Направляйте агентов к файлу. Добавьте на него ссылку в HTML, укажите в документации или упомяните везде, где агенты получают инструкции о сайте. Агенты запрашивают llms.txt, когда получают на это прямое указание, а не потому, что решили поискать его сами.

4. Снижайте риск prompt injection — относитесь к llms.txt как к коду:

• храните файл под контролем версий;

• ограничьте круг тех, кто может его редактировать;

• настройте уведомления о несанкционированных изменениях;

• используйте только обычные ссылки и описания без каких‑либо инструкций;

• ссылайтесь только на ресурсы, которые находятся под собственным контролем;

• проверяйте всё, что платформа генерирует от имени сайта.

Что ещё учесть 

Это исследование отвечает на вопросы, сколько сайтов публикуют llms.txt и кто его читает. Но есть и другие вопросы, которые заслуживают отдельного изучения и остались за рамками этой работы.

1. Чаще ли агенты запрашивают документацию для разработчиков? Сосредоточен ли интерес Claude Code к llms.txt на путях вроде /docs/ и /api/, как предполагает идея Мюллера?

2. Действительно ли боты используют то, что прочитали? Когда ИИ‑агент загружает llms.txt, начинает ли он затем запрашивать ресурсы, на которые файл ссылается? SEO‑консультант Дэвид Максуини, основатель QueryBurst, уже ставит такой эксперимент: он отдаёт ИИ‑агентам сжатое, оптимизированное под них резюме своих тестовых сайтов — с инструкциями запросить дополнительный контент — и смотрит, выполнит ли хоть один агент эти инструкции. Чётких результатов пока нет. 

Джон Мюллер назвал llms.txt временной опорой. Но, похоже, у этой опоры уже появилась собственная инфраструктура: платформы генерируют llms.txt, индустрия его проверяет, исследователи изучают — и всё это случилось ещё до того, как у файла появились настоящие «читатели».

Возможно, это ранняя инфраструктура будущего полноценного стандарта. А возможно, SEO‑индустрия в очередной раз доказывает, что умеет превращать в отдельный продукт что угодно…

Ещё по теме

Как работают AI Mode и AI Overviews и почему нам необходимы новые SEO‑стратегии — на основе патентов

Как заставить нейросети рекомендовать ваш бизнес: показываю GEO на практике

Стоит ли бизнесу вкладываться в GEO 

Ваша пробная версия Premium закончилась