Выбор модели для промышленного применения
Карточки моделей — это технические паспорта
Документ разработчика модели полезен только тогда, когда влияет на выбор решения для конкретной нагрузки. Представь агента, который превращает письма за день в список задач по приоритету: ему нужно извлечь обязательства, нормализовать даты, объединить дубликаты, расставить приоритеты и выдать корректную структуру. Некоторые письма содержат встроенные изображения, вложения или скриншоты — это требования нагрузки, которые поле модальностей модели либо покрывает, либо нет. Полный почтовый ящик нагружает окно контекста; бенчмарки полноты извлечения проверяют, остаются ли обязательства доступными по мере роста промпта. Вывод должен соответствовать строгой схеме, устранять дубликаты, ранжировать и фильтровать спам — бенчмарки следования инструкциям приблизительно отражают такую плотность ограничений.
Современная карточка модели содержит десятки бенчмарков по программированию, математике, рассуждениям, зрению, безопасности и отраслевым задачам. Для конкретной нагрузки большинство из них несущественны. Навык состоит в том, чтобы выбрать немногие поля, соответствующие твоим реальным ограничениям — цене, модальности, соотношению контекста и полноты извлечения, следованию инструкциям, — и сопоставить их.
Карточка модели — технический паспорт, а не таблица результатов соревнования. Каждое поле сообщает об одном опубликованном измерении в определённых условиях: цена по указанным тарифам, полнота извлечения при заданной длине контекста, следование инструкциям на одном бенчмарке. Сильный результат в одном поле не предсказывает сильного результата в другом. Если для нужного измерения нагрузки результат не опубликован, оно просто неизвестно.
Сопоставляй поля карточки, чтобы составить профиль модели. Затем сравнивай профили разных моделей. Результатом станет набор кандидатов, а не единственный победитель.
Выбор модели
Карточка модели — профиль, а не место в рейтинге
Anthropic
Claude Opus 4.6
Цена
$5 вход / $25 выход за миллион токенов
Высокое качество при длинном контексте и высокой цене.
Модальность
Вход: изображение и текст; выход: текст
Соответствует описанной работе с почтой, не обещая лишнего о поддержке вложений.
Контекст и извлечение
Vendor-published: 91.9% @256K, 78.3% @1M · Measured 68.1% при 128K, 54.3% при 512K; no 1M runs
Сильные результаты до конца измеренного диапазона; опубликованная оценка на 1M независимо не проверена.
Следование инструкциям
LiveBench: следование инструкциям — 63,3%
Результат сопоставим между карточками и даёт общий сигнал о следовании инструкциям.
LiveBench измеряет соблюдение нескольких явных ограничений в языковых задачах. Оценка объединяет строгую точность выполнения всех ограничений и частичную точность по отдельным ограничениям, полученную автоматическими проверками. Опубликованные результаты за июль 2026 года — общий сигнал следования инструкциям, а не прямая оценка извлечения данных из писем, нормализации дат, устранения дубликатов, ранжирования или корректности схемы. Методология и таблица результатов.
При сравнении карточек «контекст и полнота извлечения» отсылает к графику извлечения: ёмкость и полнота извлечения — отдельные опубликованные показатели. Сравнение моделей даёт короткий список кандидатов, а не готовый выбор для промышленной маршрутизации. До передачи реальной работы прогони размеченный набор писем и оцени полноту извлечения обязательств, нормализацию дат, обработку дубликатов, ранжирование, корректность схемы, задержку и стоимость.
Карточка модели описывает выпущенную контрольную точку. Карточка системы описывает область безопасности, которую оценил провайдер. Отчёт о выпуске описывает выбранные опубликованные результаты. Каждый документ относится к конкретному выпуску; ни один не заменяет локальную оценку агента и среды исполнения модели.
Переводчик с маркетингового
Маркетинг LLM часто начинается со знакомого заявления о выпуске, за которым скрывается реальное поведение системы. Переведи заявление на язык эксплуатации до оценки системы.
Перевод с языка маркетинга
Проверь рекламные заявления на практике.
“Самая способная модель из всех, что мы обучали.”
Модель крупнее: медленнее генерация и выше стоимость токенов.
Такие переводы — не цинизм. Это ясность в вопросах эксплуатации. Переведя заявление, ты можешь оценить систему как инженер.
Не спрашивай: «Эта модель умная?» Спрашивай: «При какой нагрузке, ограничениях, структуре затрат и допустимом уровне ошибок эта модель работает хорошо?»
Лучшей LLM не существует
В отрыве от задачи лучшей LLM не существует. Есть только модель, подходящая для нагрузки, набора ограничений и стратегии проверки.
Модель может быть сильнее в программировании и слабее в извлечении информации из длинного контекста. Она может быть быстрее, потому что тратит меньше вычислений. Она может лучше выглядеть на бенчмарке и всё равно не подходить твоей системе, потому что бенчмарк измерял не то узкое место. Относись к каждому заявлению о модели как к узкому инженерному утверждению: что улучшилось, в каких условиях, какой ценой и важно ли это для данной задачи?
Если вывод оказался неверным, сначала поставь диагноз, а уже потом меняй модель. Если у модели не было нужной информации, исправление — в обеспечении фактической основы: извлечение, поиск, доступ к файлам, меньший контекст или лучший отбор источников. Если информация была, но модель использовала её плохо, помоги процессу вывода: более сильная модель, более узкая задача, примеры, тесты, оценки или ревью.
На этом рабочем представлении строятся эти главы. LLM — вероятностные движки, а не коллеги. Из переданного контекста они создают варианты результата. Надёжность в промышленной эксплуатации обеспечивает система вокруг модели: опора на факты, управление контекстом, ограничение и маршрутизация работы, валидация и проверка результатов перед их принятием.
Полезная абстракция такова:
Вероятностный движок внутри детерминированного контура управления.
Следующая глава посвящена этому контуру: как агенты окружают «мозг» LLM программным обеспечением, которое умеет планировать, использовать инструменты, наблюдать результаты и продолжать цикл.