Приёмка человеком и выявление неизвестного
Решение о приёмке принадлежит человеку
Ручная проверка означает, что человек действительно использует и исследует артефакт:
- проходит рабочий процесс как пользователь;
- проверяет пустые состояния, загрузку, сбои и восстановление;
- оценивает визуальную иерархию, тексты, доступность и ощущения от взаимодействия;
- сравнивает содержательный diff с одобренными границами задачи;
- проверяет предметные компромиссы, которые агент не может вывести из репозитория.
Это не церемониальное финальное прокликивание. Это проверка на ситуацию «технически всё зелёное, но в эксплуатации всё не так». Человек приносит то, чего не заменяет никакая автоматизация: суждение с учётом конкретной ситуации — способность взвешивать неоднозначные требования, оценивать ощущения от продукта и принимать остаточный риск.
Именно здесь дизайнеры и продуктовые менеджеры участвуют в проверке наравне с инженерами. Детерминированная проверка может подтвердить, что кнопка отображается, но не решить, правильно ли ощущается взаимодействие для пользователя. LLM-оценщик может отметить изменение текста, но не взвесить тон бренда относительно целей конверсии. Решение о приёмке принадлежит тому, кто отвечает за результат.
LLM может подготовить доказательства для такого ревью: показать различия, отметить аномалии, расставить приоритеты внимания. Она не может заменить человека, ответственного за принятие остаточного риска.
Используй изменчивость агента для исследования
Детерминированные проверки защищают известные требования. Агенты помогают обнаружить требования, которые тебе ещё не приходило в голову формализовать.
Цель — не случайное разрушение. Варьируй условия, соответствующие правдоподобной эксплуатационной нагрузке: некорректный ввод, неожиданную навигацию, тайм-ауты инструментов, частичные ответы, быстрые повторные попытки, задержки или устаревшее состояние. Естественная вариативность агента делает его полезным для изучения этих вариантов. Она же делает его непригодным в качестве единственного механизма регрессионной проверки.
Следуй дисциплине из Principles of Chaos Engineering:
- Сначала определи ожидаемое устойчивое состояние или инвариант.
- Выбери значимое условие из эксплуатационного профиля, которое будешь менять.
- Ограничь среду, разрешения, время, стоимость и радиус поражения.
- Зафиксируй вход, трассу, окружение и наблюдавшийся сбой.
- Воспроизведи и подтверди дефект.
- Преврати подтверждённую находку в детерминированную регрессионную проверку, контракт или продуктовое требование.
Например, агент, исследующий оформление заказа, может обнаружить, что быстрая навигация после отклонённого платежа оставляет корзину в невозможном состоянии. Исследование не закончено в момент, когда агент сообщил об этом. Воспроизведи проблему, определи требуемое поведение, исправь её и закрепи это поведение детерминированной проверкой. Так замыкается цикл: агенты исследуют неизвестное, а детерминированные проверки защищают то, что стало известно.
Главные выводы
- Приёмка принадлежит людям. Автоматизация готовит доказательства; человек, отвечающий за результат, решает, достаточно ли их. Здесь дизайнеры и продуктовые менеджеры работают наравне с инженерами.
- Суждение с учётом ситуации незаменимо. Детерминированные проверки и LLM-оценщики не могут взвесить ощущения от продукта, тон бренда или предметные компромиссы — решение принимает человек.
- Используй изменчивость агента для исследования, а не для регрессии. Изучай правдоподобные эксплуатационные нагрузки с ограниченным радиусом поражения, воспроизводи подтверждённые находки и закрепляй их детерминированными проверками.