从任务分类和约束开始
把负载分为事实提取、分类、摘要、文本生成、工具调用、代码和多步分析。为每类任务规定准确率、响应时间、成本、数据位置和允许的供应商。模型只能在获批池中选择,而不是在所有可用模型中任意选择。
部分规则必须是确定性的:个人或机密数据留在授权边界内,特定操作使用经过验证的模型版本,关键流程必须有已测试的备用路径。
路由器本身也是需要评估的模型
路由依据可以包括任务类型、复杂度、上下文长度、工具、语言以及成本、均衡或质量模式。对话还要关注选择稳定性,因为每轮更换模型可能改变风格和对上下文的理解。
日志应记录路由原因、所选模型、策略版本、令牌、时延、评估结果和回退过程,同时不能在解释中暴露用户秘密。
用真实任务集证明价值
建立具有参考答案或评分标准的代表性任务集,将路由方案与三种基线比较:单一强模型、单一经济模型和简单固定规则。测量最终质量、工具调用成功率、尾部时延、每个成功结果的成本以及升级率。
如果少量高影响请求被送入能力不足的模型,平均节省就没有意义。因此报告必须按风险类别展示质量,并分析错误路由的原因。
运行需要边界和反馈
设置单次请求成本上限、超时、重试次数、回退顺序和供应商不可用时的行为。模型池或策略变化后,应重新评估并逐步发布。
成熟的路由器不是隐藏复杂性,而是让复杂性可治理:团队知道哪个环境完成了任务、为何选择它,以及何时需要修改规则。

