根据后果设定自主等级
区分建议、草稿、批准后执行、自动执行后复核以及禁止执行。等级取决于可逆性、错误成本、个人权利、安全影响和企业义务,而不是技术看起来多先进。
同一流程可以采用多种等级:AI 可以分类邮件和生成回复草稿,但不能在无人批准时修改付款信息或发送具有法律效力的通知。
定义明确的停止触发条件
低置信度、来源冲突、超出适用范围、异常金额或收件人、权限不足、工具连续失败、疑似攻击或用户主动请求,都应触发升级。物理系统还要在危险区出现人员、传感器丢失或突破保护边界时停止。
超时是独立场景。无人回应时,系统应安全等待、转交或取消动作,绝不能把沉默解释为同意。
连同证据一起交接决定
审核人员需要看到目标、建议动作、来源、关键字段、不确定性、已完成动作和截止时间。界面应支持批准、修改、拒绝或请求补充材料。
人员介入后,智能体只能从明确批准的状态继续。如果审核人员改变了关键数据,应把它当作新输入并重新执行必要验证。
衡量监督是否有效
统计升级比例、等待时间、无修改批准、纠正、取消、重复升级以及审核人员漏掉的错误。请求过多会造成机械确认,过少则可能表示系统隐藏了不确定性。
有效的人工监督是具有权限、时间、上下文和责任的运营流程,而不是不透明链路末端的一个“批准”按钮。

