Установите уровни автономности по последствиям
Разделите действия на рекомендацию, подготовку черновика, выполнение после подтверждения, автономное выполнение с последующей проверкой и запрещённое действие. Уровень определяется не привлекательностью технологии, а обратимостью, стоимостью ошибки, правами человека, влиянием на безопасность и обязательствами компании.
Один процесс может иметь разные уровни: ИИ самостоятельно классифицирует письмо, предлагает ответ, но не меняет платёжные реквизиты и не отправляет юридически значимое уведомление без подтверждения.
Опишите явные триггеры остановки
Эскалация срабатывает при низкой уверенности, конфликте источников, выходе за область применения, необычной сумме или адресате, недостаточных правах, повторной ошибке инструмента, подозрении на атаку и запросе самого пользователя. Для физической системы добавляются человек в опасной зоне, потеря сенсора и нарушение защитной границы.
Тайм-аут является отдельным сценарием. Если человек не ответил, система должна безопасно ждать, передать задачу другому или отменить действие — но не трактовать молчание как согласие.
Передавайте решение вместе с доказательствами
Сотруднику нужны цель, предлагаемый шаг, использованные источники, критичные поля, неопределённости, уже выполненные действия и время на решение. Интерфейс должен позволять подтвердить, изменить, отклонить или запросить дополнительные данные.
После вмешательства агент продолжает только из явно подтверждённого состояния. Изменение сотрудником существенных данных становится новым входом и может потребовать повторной проверки.
Измеряйте, работает ли надзор
Считайте долю эскалаций, время ожидания, подтверждения без изменения, исправления, отмены, повторные эскалации и ошибки, которые человек пропустил. Слишком много запросов приводит к автоматическому подтверждению, слишком мало — может означать, что система скрывает неопределённость.
Качественный человеческий контроль — это спроектированный операционный процесс с полномочиями, временем, контекстом и ответственностью, а не кнопка «Одобрить» в конце непонятной цепочки.