定义结果单位
每百万 Token 价格方便供应商计费,却不代表客户价值。知识搜索可以计算带有效引用的回答,支持场景可以计算正确解决的工单,文档处理可以计算完成验证的数据包,开发场景可以计算被接受的修改。
结果单位必须包含质量。需要员工完全复核或重写的廉价回答只是把成本转移到了人工时间。
收集完整成本
云端成本包括 Token、缓存、检索、工具、网络和最低承诺;本地平台包括服务器与 GPU 折旧、电力、制冷、许可证、运维、备用容量和闲置时间。共享资源应按标签、配额或实际用量分摊,并记录模型版本、场景和预算负责人。
将容量作为组合管理
稳定负载可能适合本地,偶发峰值可能适合云端,但比较时必须使用相同的数据、延迟、质量和可用性要求。路由策略按任务复杂度、数据分类和实测质量选择模型:小模型处理常规请求,大模型只用于已证明有收益的场景。
建立共同决策节奏
工程团队查看异常和闲置容量,产品负责人查看单位结果成本,财务查看预测和承诺,管理层查看整体价值。上线前就设置预算和告警。扩容决策还要同时考虑队列、延迟、质量、韧性、数据风险和边际结果成本。

