描绘完整操作
一次请求可能包含权限检查、检索、排序、多次模型调用和业务工具。应将这些步骤表示为同一条 trace 的多个 span,才能把延迟定位到供应商、索引或工具。记录服务、操作、模型版本、生成参数、输入输出 Token、结果和错误,并对用户与项目标识进行匿名化。
默认不记录正文
提示词、回答和检索文档可能包含商业秘密、个人信息或凭证。默认遥测只保存大小、哈希、数据分类和受保护引用,不保存全文。只有受控测试或调查才临时开启正文采集,并使用独立权限和保留期限。过滤必须在数据发送到收集器之前完成。
连接可靠性、质量与成本
技术指标包括首 Token 时间、总耗时、错误、重试、队列和 GPU 饱和度;业务指标包括检索成功、引用正确、策略拒绝、人工批准和最终业务结果。成本要按请求、用户、团队和场景分配,并监控智能体循环、异常长上下文和工具调用激增。
让遥测参与验收
新模型或供应商只能在同一评测集上比较延迟、质量和成本后发布。看板需关联应用、提示词、索引和模型版本。告警必须对应可执行动作,例如停用工具、切换路由、降低并发或恢复旧配置。

