Обучение и постобучение
Что на самом деле делает обучение
Полезная мысленная модель: архитектура — это форма программы, а веса — её выученное содержимое.
Архитектура задаёт фиксированное вычисление: слои, внимание, поток токенов и математические операции, преобразующие входные токены в вероятности выходных. Веса — это миллиарды числовых параметров внутри этого вычисления. Во время инференса веса фиксированы. Во время обучения они изменяются.
Обучение — это оптимизация. Обучающая система показывает модели множество примеров входного контекста и желаемого выхода, измеряет, насколько ошибочным было предсказание модели, а затем слегка изменяет веса, чтобы в следующий раз похожие контексты давали более подходящие вероятности.
Для языковой модели базовая задача предварительного обучения — предсказание следующего токена:
Контекст: "The capital of France is"
Желаемый следующий токен: " Paris"
Если модель назначает " Paris" низкую вероятность, ошибка высока. Если вероятность высока, ошибка мала. На миллиардах или триллионах примеров обучение ищет значения весов, уменьшающие среднюю ошибку.
Именно в этом смысле модель «учится». Она не записывает факты в именованные строки базы данных. Она настраивает огромную математическую функцию, пока её выходы не начинают приближённо воспроизводить закономерности обучающих данных.
В обучающих текстах полно разобранных решений: ответов на домашние задания, пошаговых объяснений кода, выводов формул. «Покажи шаги» — одна из закономерностей этих данных, и предсказание следующего токена её усваивает. Базовая модель уже умеет рассуждать; постобучение определяет, насколько надёжно она это делает и сколько склонна думать перед ответом.
Обучение ведёт поиск в многомерном пространстве, где каждая точка — один из возможных наборов весов модели. Функция потерь задаёт рельеф: чем ниже, тем лучше, но этот рельеф не похож на гладкую чашу с одним очевидным дном.
Современные алгоритмы обучения, такие как стохастический градиентный спуск и Adam, оценивают направление уменьшения ошибки и затем делают небольшие шаги. Поскольку пространство огромно и невыпукло, обучение не гарантирует нахождения лучших весов — или даже полезной устойчивой модели. Случайная инициализация, порядок батчей, настройки оптимизатора, состав данных и детали вычислений влияют на траекторию.
Эта стохастичность отчасти объясняет, почему обучение модели больше похоже на подгонку огромной вероятностной системы до приемлемого поведения на проверках, чем на компиляцию программы.
Затем постобучение превращает этот универсальный механизм продолжения в продукт с определённым профилем поведения: следовать инструкциям, предпочитать полезные ответы, отказывать на некоторые запросы, вызывать инструменты, решать проверяемые задачи или соответствовать стилю предметной области.
Что кодируется в модели
После обучения веса становятся сжатой картой закономерностей. Они кодируют статистическую структуру, извлечённую из обучающих данных: язык, факты, идиомы кода, форматы документов, нормы взаимодействия, визуальные закономерности, терминологию предметной области и распространённые способы реагирования людей на ситуации.
Это включает два полезных вида структуры:
- Знания о мире и предметной области: что обычно верно, как связаны понятия, как выглядят API, как пишут юридические положения, что обычно содержит обращение в поддержку.
- Шаблоны действий: что делать дальше в конкретном сценарии, как отвечать на вопрос, как менять код, когда просить уточнение, как оформлять вызов инструмента.
Эти знания не хранятся как строки в базе данных. Они распределены по параметрам.
Механика LLM
Обучение сжимает примеры в поведение модели
Поэтому модель может обобщать за пределы точных примеров, но также может быть устаревшей, неполной, предвзятой или уверенно ошибаться.
Полезная мысленная модель: модель усвоила закономерности того, как обычно развиваются ситуации. При инференсе ей дают новую ситуацию и просят вероятное продолжение.
Базовые модели усваивают закономерности; постобучение формирует поведение
Современные продукты на основе LLM — это не просто предварительно обученные модели, доступные через API. Поставщики обычно начинают с базовой модели и затем проводят постобучение под цели продукта.
| Этап | Что он даёт |
|---|---|
| Предварительное обучение | Широкие знания, языковые, программные и мультимодальные закономерности, базовую способность продолжать последовательность |
| Дообучение с учителем | Следование инструкциям, форматы задач, поведение ассистента |
| Обучение по предпочтениям | Полезность, тон, безопасное поведение, политику отказов, качество ответов |
| Обучение с проверяемым вознаграждением | Более сильные навыки математики, программирования, поиска или использования инструментов там, где результат можно проверить |
| Настройка под предметную область | Специализированные шаблоны для программирования, права, медицины, финансов, поддержки или корпоративных процессов |
Рассматривай эти этапы как производственную линию. Каждый этап превращает исходный механизм продолжения в продукт с конкретным поведением: чему он следует, что предпочитает, на что отвечает отказом, что проверяет и на чём специализируется. Для агентов это разница между моделью, которая может продолжать текст, похожий на код, и продуктовой моделью, настроенной на создание патчей, объяснений, безопасных отказов или вызовов инструментов.
Механика LLM
Постобучение формирует поведение продукта
Постобучение на основе подкрепления — один из способов, которыми разработчики формируют поведение. InstructGPT популяризировал цепочку «дообучение с учителем + модель вознаграждения + обучение с подкреплением» для следования инструкциям. Более поздние методы, такие как DPO, упрощают оптимизацию предпочтений.
Именно на этапе постобучения поставщик превращает механизм в продукт. Он определяет, в чём модель хороша, от чего отказывается и насколько активно сама прибегает к рассуждениям. Обучение задаёт диапазон глубины размышлений; настройка размышлений в запросе выбирает точку внутри этого диапазона — причём само решение предоставить такую настройку тоже является продуктовым.
Такова продуктовая реальность за многими заявлениями о моделях: поставщики не продают универсальный интеллект. Любая модель, представленная сегодня на рынке, — это осознанный продуктовый выбор с целевым сценарием использования, который задумывали её создатели. Кто-то выбрал базовую модель, решил, в чём она должна быть хороша и чего никогда не должна делать, а затем выпустил её.
Каждый такой выбор реализуется оптимизацией, а не правилами — и именно здесь начинаются практические ограничения.