Русский
English
IT Developer
Многие люди думают, что GPT воспринимает интернет так же, как и мы: видит полные страницы, HTML, изображения, макеты и полные статьи. Однако реальность выглядит немного по‑другому. GPT не просматривает страницы, не загружает их и не воспринимает все документы целиком. То, что он может видеть, ограничено небольшими окнами и находится под строгим контролем.
В этой статье подробно объясняется:
-
Что GPT получает из поиска в интернете.
-
Как работают контекстные сниппеты.
-
Как расширения (open/click) влияют на поиск.
-
Как настройки размера контекста (маленький/средний/большой) влияют на результаты.
-
Как работает механизм скользящих окон.
-
Что разработчики фактически получают в ответах API.
Все примеры в статье основаны на реальных взаимодействиях, зафиксированных в ходе тестирования. Это перевод и адаптация статьи из блога Dejan.
Что GPT получает из веб‑поиска
Когда GPT запрашивает результат поиска, он получает небольшой структурированный объект, который можно представить следующим образом:
-
заголовок,
-
URL,
-
небольшой фрагмент текста (1–3 предложения),
-
дополнительные метаданные (дата или оценка),
-
уникальный внутренний ID (turn0search0 и т. д.).
Это пока что все данные, которые получает GPT на начальном этапе.
GPT не может получить и увидеть:
-
страницы целиком,
-
необработанный HTML‑код,
-
полное содержание статьи,
-
навигацию или структуру сайта.
Эти фрагменты работают как своеобразные карточки результатов поисковой системы.
Как работают «open» и «click»
Каждый фрагмент имеет уникальный ID, и GPT может запросить дополнительные данные с помощью следующих функций:
-
open()
Это расширение извлекает больший фрагмент текста с той же страницы, центрируя его по номеру строки. Таким образом, GPT как бы «прокручивает» страницу.
-
click()
Это расширение позволяет перейти по исходящей ссылке из выбранного фрагмента. Новая страница воспринимается отдельным фрагментом, при этом правила для её обработки остаются такими же.
Ограничены ли расширения одним циклом?
Нет, количество циклов не ограничено. GPT может:
-
Открыть строку 1.
-
Затем строку 50.
-
Затем строку 120.
-
И так далее.
Может ли GPT увидеть всю страницу, используя достаточное количество окон?
Теоретически, GPT может видеть многие части страницы. Однако на практике это не всегда возможно из‑за следующих ограничений:
-
Каждое расширение представляет собой окно ограниченного размера;
-
Ответы инструмента за один ход также имеют свои ограничения.
-
Модель не может генерировать больше информации, чем разрешено правилами цитирования.
Ограничения: извлечение и вывод
Существуют два типа ограничений:
-
Ограничения на извлечение
Каждый open воспринимает только фиксированное окно, даже если страница содержит тысячи слов.
-
Ограничения на вывод
Даже если GPT просматривает несколько окон, он не может вывести:
-
полное содержание,
-
длинные отрывки,
-
больше разрешенного цитируемого количества текста.
Вместо этого он должен подытожить и сделать краткую выжимку.
Это какой‑то специальный инструмент?
Нет. Всё, что здесь описано, основано на том же инструменте поиска, который доступен через API ассистентов. Разработчики, которые включат Web Search в своих ассистентах, получат те же возможности.
Настройки размера контекста
В панели настроек разработчики могут выбрать размер веб‑контекста. GPT не может самостоятельно устанавливать этот параметр.
Существуют:
-
маленький: самые маленькие фрагменты,
-
средний: более обширные фрагменты,
-
высокий: самые большие допустимые фрагменты.
Точные числовые значения не публикуются. Эти настройки определяют:
-
Объём показываемого текста фрагмента.
-
Размер каждого окна.
-
Количество дополнительного контента, который появляется вместе с результатами поиска.
Механизм скользящего окна
Авторы оригинальной статьи протестировали реальную страницу об алгоритме BlockRank, используя постепенно увеличивающиеся размеры контекста и повторяющиеся извлечения.
Шаг 1 — Начальный фрагмент (низкий размер контекста)
На этом этапе отобразился лишь небольшой отрывок из статьи. Он был ограничен и едва ли полезен для понимания всей страницы.
-
Фрагмент 1: из блога на DEJAN
«От привычного текста к распределению по шкале Лайкерта: руководство по SSR для коммерции от 15 октября 2025 г. — автор Дэн Петрович» | dejan.ai
«# Автор: Дэн Петрович … ## BlockRank: быстрый и полезный способ ранжирования документов с помощью LLM 10 ноября 2025 г. — автор Дэн Петрович» | dejan.ai
-
Фрагмент 2: список блогов (тот же источник)
-
Фрагмент 3: страница с био/ссылками
-
Фрагмент 4: страница с информацией о выступлениях
Шаг 2 — Расширение в 1‑й строке
Первое использование open() возвращает начало статьи:
-
заголовок,
-
дату публикации,
-
первый абзац,
-
вступительный контекст.
-
Фрагмент результата (начальный)
Из результатов поиска:
-
Расширенный вид (open на уровне ~1 строки)
«#BlockRank: Более быстрый и надежный способ ранжирования документов с помощью LLM
10 ноября 2025 г. — автор: Дэн Петрович — в разделе «Машинное обучение»
«LLM произвели революцию во многих сферах обработки естественного языка и поиска информации. Недавно появилась многообещающая новая парадигма, известная как In‑Context Ranking (ICR), которая использует контекстуальное понимание LLM для изменения порядка списка документов, соответствующих заданному запросу. Однако эта сила приходит не просто так: вычислительная сложность механизма LLM растет квадратично с длиной входного контекста, что делает процесс ранжирования большого количества документов медленным и дорогостоящим». | dejan.ai
-
Далее по странице (open на уровне ~30 строки)
«Как работает BlockRank: комбинированный подход
Основываясь на этих идеях, BlockRank предлагает две ключевые функции для стандартной архитектуры LLM и детальную настройку:
-
Структурированное разрежённое внимание
BlockRank предлагает инновационный подход к моделированию, который обеспечивает разрежённость блоков. Этот эффект достигается благодаря ограничению потока внимания следующим образом:
-
Токены документов взаимодействуют с другими токенами в том же документе и с начальными токенами.
-
Токены запроса, напротив, взаимодействуют со всеми токенами в промпте (инструкции и все документы), чтобы собрать необходимый контекст для ранжирования.
Эта структурированная модель внимания значительно снижает вычислительную сложность с квадратичной (O(n²)) до линейной (O(n)), что существенно ускоряет как процесс обучения, так и вывода.» | dejan.ai
-
Ещё один раздел (open на уровне ~60 строки)
«Производительность: быстрее и точнее
В статье о BlockRank представлена всесторонняя оценка метода на нескольких стандартных тестах по поиску информации. Результаты впечатляют:
-
Превосходная производительность: В тесте BEIR BlockRank продемонстрировал более высокую эффективность по сравнению с существующими передовыми системами ранжирования, такими как FIRST, RankZephyr и RankVicuna.
-
Значительное ускорение: BlockRank работает в 4,7 раза быстрее, чем стандартная модель Mistral‑7B, при ранжировании 100 документов.
-
Масштаб: BlockRank способен обрабатывать до 500 документов (примерно 100 000 токенов) менее чем за секунду, при этом его задержка линейно возрастает с увеличением количества документов». | dejan.ai
Краткие итоги шага 2:
-
Инструмент показывает заголовок, дату публикации и метаданные автора в расширенном виде.
-
Он даёт первые несколько абзацев, но в сокращенном виде.
-
Контент отформатирован в виде простого текста, преобразованного в HTML/Markdown.
-
Вы можете продолжить просмотр, запрашивая больше строк.
-
Вы не видите полную страницу, но получаете полезные разделы.
Шаг 3 — Углубление контекста (строка 30, строка 60 и т. д.)
Каждый последующий запрос даёт всё больше информации со страницы:
-
разделы основного текста,
-
заголовки,
-
пояснительные абзацы,
-
списки и примеры.
Однако всё это до сих пор ограничено размером окна. Вы можете видеть последовательные фрагменты, но не полностью и не всю статью.
Вот что можно увидеть на этом этапе:
«## Разработка с открытым исходным кодом
Авторы опубликовали код BlockRank на GitHub [2], что значительно упрощает его использование и изменения для исследователей и обычных пользователей. Репозиторий включает в себя:
-
Основную реализацию механизма BlockRank attention, как на стандартном PyTorch, так и в оптимизированных ядрах Triton.
-
Вспомогательный модуль.
-
Скрипты для обучения и оценки.
-
Предварительно обученную модель BlockRank на основе Mistral‑7B, доступную на Hugging Face.
-
Блокнот для быстрого старта, который поможет вам в начале.
Код хорошо документирован и имеет надёжную основу для экспериментов с BlockRank на ваших собственных наборах данных.
## Заключение
BlockRank представляет собой значительный прорыв в области контекстного ранжирования на основе LLM. Авторы метода успешно использовали внутренние механизмы для создания алгоритма, который работает быстрее и точнее, чем существующие.
Открытый исходный код и предварительно обученная модель значительно упрощают внедрение этой технологии, делая её более доступной для широкого круга пользователей.
По мере роста возможностей LLM, технологии, подобные BlockRank, которые ориентированы на эффективность и масштаб, будут играть все более важную роль. Мы с нетерпением ждем, как сообщество будет развивать эту работу и применять её к новым и сложным задачам поиска информации».
Ссылки:
-
[1] Gupta, N., You, C., … & Yu, F. (2025). Scalable In‑context Ranking with Generative Models. arXiv preprint arXiv:2510.05396. https://arxiv.org/abs/2510.05396
-
[2] Репозиторий BlockRank GitHub. https://github.com/dejanai/BlockRank
-
DEJAN
-
AI Marketing Agency
-
AI Rank Privacy Policy | Dan Petrovic | Noli esse malus.
Шаг 4 — Режим «Большого размера контекста»
Переключение в режим большого размера контекста делает каждое окно больше, что позволяет получать:
-
более длинные выдержки,
-
больше связанных абзацев,
-
более крупные текстовые блоки для каждого запроса.
Однако даже в этом режиме информация в конечном итоге достигает определённых пределов.
Скользящее окно становится более эффективным, но все равно не может отобразить всю страницу.
Это наглядно демонстрирует, что:
-
GPT видит только последовательные фрагменты, а не всю страницу целиком.
-
Поиск осуществляется в окнах.
-
Окна ограничены.
-
Каждое окно похоже на обычное извлечение текста.
-
Разработчики не могут увидеть ни одно из этих окон.
Таким образом, GPT не просматривает веб‑страницы целиком. Он получает небольшие фрагменты, структурированные метаданные, огграниченные фрагменты через «оконный» поиск и данные без HTML и страниц целиком.