建立可验证的问题集
先收集真实问题、预期来源和能够证明答案的段落,同时定义系统必须拒答的情况。这比根据几次演示对话判断质量更可靠。
文档处理决定质量上限
扫描件、表格、图纸和规章需要不同的提取流程。应检查 OCR、结构、编码、重复和时效性,并在切分时保留章节、日期、责任人和访问级别等元数据。
分开评估检索与生成
找不到正确来源时,检查索引、元数据和查询构造;来源正确但答案错误时,再检查提示、上下文和模型。语义检索与关键词检索结合,通常更适合编号和精确术语。
查询时执行最新权限
员工角色与文档状态会变化,因此每次检索都要验证当前权限,避免受限内容通过引用、建议或日志泄露。
索引需要更新队列、错误重试、版本和回滚机制。可用的 RAG 系统必须能够测量、解释并持续维护。

