Сжатие контекста

Сжатие контекста​

Влияние на контекст: сжатие заменяет накопленный разговор более компактным синтетическим состоянием, возвращая рабочее пространство ценой потери деталей. Это суммаризация с потерями, направляемая твоей инструкцией, но она не гарантирует, что именно сохранится. В момент сжатия будущая значимость неизвестна: отладочная трассировка, которая сейчас кажется шумом, может оказаться подсказкой, необходимой на следующем шаге.

На практике оболочка обычно выполняет не одно, а два сокращения. Сначала удаляет или выгружает устаревшие следы работы инструментов, которые больше не нужно повторно передавать. Затем суммаризирует оставшиеся разделы, оставляя последние ходы нетронутыми. Исходная запись разговора может оставаться доступной вне вызова модели, но в следующий запрос попадает лишь компактный рабочий набор.

Удаление — это отбор; суммаризация — преобразование. Оба уменьшают рабочий набор модели, но только суммаризация сохраняет синтетическую версию исходного раздела.

Надёжная альтернатива — ручная передача работы с внешним сохранением контрольной точки. Прежде чем начать новый этап, запиши краткий файл состояния: текущая цель, изменённые файлы, решения, неустранённые ошибки и следующий шаг. Файлы обеспечивают точное восстановление, свежий контекст — качество инференса.

Цена буфера​

Само сжатие расходует рабочий контекст. Система резервирует буфер, чтобы успеть передать работу, когда сессия приблизится к пределу ёмкости: эту часть намеренно нельзя использовать для обычного разговора. Это буфер сжатия — налог на твоё эффективное окно.

{ "compaction": { "enabled": false } }