Непрерывная валидация
Валидация продолжается в продакшене
Эксплуатационный профиль перед выпуском никогда не бывает полным. Средства контроля выпуска продолжают валидацию в реальных условиях, не превращая каждого пользователя в подопытного:
- Теневой режим запускает нового агента на реальных входных данных без выполнения побочных эффектов.
- Канареечные развёртывания направляют на новую версию небольшую долю трафика с возможностью отката.
- Телеметрия измеряет успешность задач, задержки, стоимость, поведение при восстановлении, нарушения политик и исправления пользователей.
- Выборочное ревью отправляет репрезентативные и аномальные трассировки LLM-судьям и людям.
- Откат ограничивает ущерб, когда свидетельства противоречат утверждению о выпуске.
Подтверждённые сбои в продакшене и новые наблюдаемые способы использования должны попадать в эксплуатационный профиль и регрессионный корпус. Сигналы из эксплуатации — не истории после запуска, а следующий вход валидации. Именно здесь продакт-менеджеры и инженеры эксплуатации возвращают реальное поведение в цикл валидации: с каждым подтверждённым инцидентом профиль становится точнее.
Интерпретируй свидетельства, затем выбирай цикл исправления
Валидация должна менять рабочий процесс, а не просто приписывать ему оценку.
| Находка | Следующий шаг |
|---|---|
| Локальный дефект или пропущенный известный граничный случай | Исправить ограниченную единицу работы и повторить валидацию |
| Агент упустил факт о кодовой базе, API или ограничение | Повторно изучить исходные основания |
| Неверны форма решения или порядок действий | Перепланировать |
| Один кандидат нестабилен, но цель ясна | Сгенерировать независимые варианты и оценить их по независимым свидетельствам |
| Свидетельства противоречат друг другу или последствия серьёзны | Добавить контрольный этап с участием человека |
| Исследование или телеметрия эксплуатации выявили подтверждённый режим отказа | Зафиксировать его детерминированной регрессионной проверкой и обновить профиль |
Это напрямую соответствует средствам из главы Рычаги надёжности: улучшай контекст при недостающих фактах, меняй оркестрацию при неверной организации работы, повторяй попытки независимо при нестабильной генерации и используй человеческие контрольные этапы, чтобы остановить распространение ошибочного предположения.
Основные выводы
- Выпуск продолжает валидацию. Канареечный трафик, телеметрия, ревью и откат обновляют эксплуатационный профиль после запуска.
- Сигналы эксплуатации — входные данные для валидации, а не истории после запуска. Подтверждённые сбои в продакшене и новые наблюдаемые способы использования должны попадать в эксплуатационный профиль и регрессионный корпус.
- Валидация должна менять рабочий процесс. Сопоставляй каждую находку с подходящим циклом исправления: повторно изучить основания, перепланировать, сгенерировать и оценить, добавить контроль человека или оформить находку детерминированной регрессионной проверкой.