Рычаги надёжности
Каждое зависимое преобразование умножает риск. Запуск агента сочетает вывод модели, извлечённый контекст, результаты инструментов, внешние системы, промежуточные артефакты и итоговую проверку. Каждый выход может стать входом следующего шага, поэтому небольшая потеря в начале цепочки способна повлиять на всё последующее.
Полезное первое приближение:
R(n) = p^n
Если каждый шаг завершается успешно с вероятностью p, то все n зависимых шагов завершаются успешно с вероятностью p^n. При p = 0.95 цепочка из 20 шагов успешна лишь примерно в 36% случаев.
Это плавная упрощающая модель, а не прогноз. Она предполагает одинаковую сложность шагов, стабильную надёжность отдельного шага, независимые отказы и строгое определение успеха всей задачи. Реальная работа агентов нарушает все четыре предположения. Модель всё равно полезна, потому что делает очевидным одно практическое ограничение: добавление зависимых преобразований само по себе не может повысить сквозную надёжность.
Рычаги надёжности
Зависимые преобразования умножают риск
Реальное снижение неравномерно
Запуски в продакшене теряют надёжность не по гладкому экспоненциальному графику. Рутинные преобразования могут сохранять состояние в течение нескольких шагов. Неоднозначное решение может привести к небольшой потере. Затем неверная предпосылка способна вызвать каскадное падение, потому что последующие шаги её наследуют.
Эти отказы коррелированы. Когда сгенерированный вывод становится рабочим контекстом, следующий шаг начинается не с чистого листа: он рассуждает на основе и полезного сигнала, и уже присутствующих искажений. Неверный импорт может привести к неверному API, а затем — к внутренне согласованному исправлению не той проблемы.
Плавная базовая линия и неравномерный запуск описывают разные вещи. Базовая линия выявляет цену длины зависимостей. Неравномерная траектория показывает, почему место потери — и то, распространяется ли она дальше, — так же важно, как количество шагов.
Рычаги надёжности
Реальные запуски выходят на плато, отклоняются и обрушиваются каскадом
Эта склонность к распространению называется закреплением ошибки (failure stickiness): вероятностью того, что неудачный шаг повышает вероятность неудачи на последующем зависимом шаге. Надёжные рабочие процессы контролируют и базовое качество шагов, и расстояние, которое может пройти ошибочное состояние.
Неверная предпосылка может распространяться только тогда, когда находится в окне, поэтому второй фактор — решение об организации контекста: предоставляй правильную картину реальности и делай это, не расходуя модель, которую ты нанял для размышления. Это приём делегирования — отдай поиск исполнителю, которого можешь себе позволить, — и он масштабируется от субагента до поисковой системы.