Эффективный контекст
Цифра на коробке
Qwen 3.8 Max рекламирует расширяемое окно в 1 млн токенов. В тесте извлечения информации Context Arena она получает 92,3% на 128K и 29,7% на 512K. Окно реально существует; способность извлекать информацию на большой длине — отдельный вопрос.
Маркетинг сводит две вещи к одной цифре. Заявленный контекст — сколько токенов модель принимает. Эффективный контекст — какую часть этого ввода она по-прежнему надёжно использует под нагрузкой.
Поэтому сравнивай кривые деградации, а не размеры окон. Приведённые ниже кривые взяты из одного независимого бенчмарка: Context Arena пропускает каждую модель через одинаковый тест длинного контекста с одной функцией оценки. Модели, для которых нет независимых измерений, на график не нанесены.
Механика LLM
Эффективный контекст меньше заявленного
Извлечение из эффективного контекста по моделям, измерено на Context Arena (MRCR v2, восемь искомых фрагментов).
Лидеры
Второй эшелон
Как читать кривые
Полнота извлечения — свойство всей системы, а не число в карточке модели. Архитектура и обучение определяют, что модель способна различить; твоя агентная оболочка задаёт условия: усилие рассуждения, длину контекста и объём похожего материала, который нужно разграничить. График показывает результат этого сочетания.
Кривая внимания в зависимости от позиции из главы об инженерии контекста — это механизм: то, как распределяется фокус модели. Эта кривая полноты извлечения — измеренный результат: тест прячет ответ где-то в окне и требует от модели найти и воспроизвести его, поэтому проверяет весь диапазон, а не два ярко освещённых края, и результат падает по мере того, как всё больше содержания оказывается там, где внимания мало. Требования к воспроизведению строгие: модель, которая не может дословно процитировать отрывок, всё ещё способна пересказать или извлечь его содержание, поэтому низкая оценка — нижняя граница одной способности, а не доказательство неспособности использовать контекст.
Сигнал — форма кривой. Горизонтальная линия означает устойчивое точное извлечение; уклон обнаруживает его предел; обрыв отмечает границу, внутри которой инженерия контекста должна удерживать задачу в надёжном диапазоне, — либо показывает, что модели лучше подходит работа, меньше зависящая от извлечения информации. У Qwen 3.8 Max измерены 92,3% на 128K, 67,7% на 256K, затем 29,7% на 512K. Низкий результат с самого начала означает, что способность не подтверждена. Линия, заканчивающаяся на 512K, как у GPT-5.6 Sol и Claude Opus 4.6, означает отсутствие измерений на 1M, а не провал теста.
Модели — не базы данных: им нужно достаточно хорошо сохранять идентичность, положение и связи объектов, чтобы ответить позже. Поэтому увеличение контекста может ухудшить извлечение информации вместо того, чтобы улучшить его. Context Arena делает эти результаты сопоставимыми в рамках одной задачи и одного правила оценки. Агенту, извлекающему старое решение, контракт API, результат инструмента, деталь файла или ограничение пользователя, нужна кривая, которая держится на его рабочей длине. Это и есть его предел эффективного контекста, а не максимум API. Это один из факторов выбора модели для продакшена, наряду с качеством решения задачи, задержкой и стоимостью.
Тест: восемь стихотворений о пингвинах
MRCR v2 строит длинный синтетический диалог: просьба «Напиши стихотворение о пингвинах» появляется восемь раз, и каждый раз в ответ даётся другое стихотворение среди почти одинаковых отвлекающих материалов. Затем:
Добавь строку AKJSs89sal перед пятым стихотворением о пингвинах. Не включай никакого другого текста.
Модель находит все восемь, упорядочивает их, выбирает пятое и воспроизводит его; оценка вычисляется по сходству строк с частичным зачётом. Пропущен хеш-префикс — ноль баллов. Это не поиск иголки в стоге сена: NIAH прячет один заметный факт среди наполнителя; MRCR прячет восемь почти одинаковых кандидатов и требует различить их с учётом порядка — ближе к агентному контексту, где самое сложное состоит в выборе правильного экземпляра.
Вот что эта оценка на самом деле означает. Модель ничего не решает — она повторяет текст, который только что получила, а копирование — самая простая задача, которую можно дать LLM. И всё же она никогда не справляется идеально, потому что LLM на самом деле не копирует: она угадывает слово за словом, что, вероятно, идёт дальше, а воспроизведение стихотворения — длинная цепочка таких догадок, каждая из которых должна оказаться правильной (локальное предсказание, глобальные последствия). Одна неверная догадка в любом месте меняет ответ, а хеш-префикс — именно то место, где ошибка наиболее вероятна: короткая странная бессмысленная строка, за которую нечем зацепиться. Это не недостаток теста; это цена работы с машиной, которая предсказывает, а не вспоминает. Тест выглядит стерильным только потому, что проходит в чистой среде: в окне ничего больше нет, поэтому модели достаётся начало, самая сильная область её внимания. Реальные окна никогда не бывают такими аккуратными: к тому моменту, как системный промпт, определения инструментов и заметки о проекте заняли начало, твоя задача оказывается дальше, в более слабой середине. Нельзя заставить машину перестать угадывать; можно только так организовать окружение, чтобы догадка попадала в цель, — для этого и нужна инженерия контекста.
Кто проверяет домашнюю работу
Все запускают MRCR по-разному: со своими режимами усилия, опорными точками и усреднением, — поэтому накопленное среднее до 128K отличается от точечной оценки на 128K. Некоторые лаборатории вообще не публикуют оценки с разбивкой по длине. MRCR — один участок общей картины: OAI-MRCR, GraphWalks, RULER, LongMemEval задают другие вопросы, — поэтому выбирай бенчмарк под свою нагрузку.
Для MRCR Context Arena прогоняет все модели через одну оболочку DeepMind MRCR v2 и публикует кривые и код. Одна оболочка, одна функция оценки: оставшиеся различия в данных обусловлены моделями. Так же читай карточки поставщиков: их число часто даже не является той же величиной, что измеренная. Данные Google воспроизводятся: накопленные 84,9% @128K и 26,3% @1M превращаются в 85,1% и 25,9%, — а Anthropic заявляет 91,9% @256K там, где арена измеряет 69,1%. Относись к числам, существующим только в соглашениях поставщика, как к заявлениям, и выбирай по измеренным кривым.
Главный вывод
У каждой модели есть предел эффективного контекста, и это кривая, а не число. Если твоя нагрузка регулярно достигает 512K–1M, измеренные данные сужают список кандидатов; ниже 128K сопоставляй измеренную кривую с качеством решения задачи, задержкой и стоимостью — несколько компактных и специализированных моделей проваливаются уже там. Ничто из этого не отменяет управление контекстом: сбор фактической основы рассматривает поиск и RAG как системные рычаги; инженерия контекста разбирает практическую работу с формой распределения внимания.