选择不同模态能够相互补充的流程
例如根据单据和照片进行收货验收，用语音备注完成现场检查，结合截图分派服务请求，通过视频和文档核对包装，或生成可追溯到原始材料的会议纪要。如果传统 OCR 或确定性规则已经可靠，就没有必要使用复杂模型。
先定义业务输出：完整的记录、发现的不一致、分类后的事件或决策草案。漂亮的描述本身并不是自动化。
让处理链的每一步都可检查
文件接收、识别、字段提取、实体关联、解释、来源核验和动作应保持分离并可观察。对重要结论保留对应的文档页码、图像区域、音频时间点或视频帧。
结构化字段应通过数据模式和业务规则验证。低置信度或不同来源之间的矛盾应交给人员处理，而不能被流畅文字掩盖。
分别评估各模态，并评估端到端结果
文档关注字段和表格，图像关注物体与空间关系，音频关注语音、说话人和关键术语，视频关注事件与时间范围。最后评估完整任务：记录是否正确、风险是否发现、下一步是否合适。
测试集应包含弱光、噪声、多语言、手写、页面旋转、材料缺失和故意冲突的输入。
在连接模型前设计数据保护
明确允许格式、保存期限、元数据清理、生物识别与个人数据、录制权限和处理地点。用户应知道哪些材料会发送给模型，审计日志则记录谁获得结果以及执行了什么动作。
从能够生成带证据草稿的助手开始。只有对范围狭窄、准确率得到验证且可以安全回滚的任务，才允许自动执行。