摘要
10-17/01 拆了单价、10-17/02 拆了用量，本文用「路由」把对的工作发给对的模型，收口成本工程闭环。一句话原则：问题从不是哪个模型最好，而是哪个模型对这件具体工作「足够好且最便宜」。真实流量天然偏斜——多数应用 60–80% 查询很简单（抽取/分类/短问答），只有 20–40% 需要前沿模型。级联模式（先试便宜模型→置信度检查→升级）配合可信升级信号（schema 校验/logprob/小验证模型），可把混合成本较全旗舰降 70–85%，而端侧 1–7B 模型把边际推理成本压到近零。本文附开源工具、质量护栏、四步落地与百递云桥路由控制面骨架。
一句话结论：模型路由是 LLM 工程里的 FinOps——本质是「测量」：把工作负载按任务拆开，在自有数据上给每类任务定质量门槛，再用校准过的置信信号做级联升级；小模型扛量、前沿模型做判断、跨家族共识守你输不起的决策。
1. 核心思想：从「最好」到「最便宜的够用」
生产 LLM 系统不是「一个模型」，而是一组工作负载：这里分类、那里抽取、末尾综合、中间一个判断。把所有活都丢给最大的前沿模型，是 LLM 界的「所有查询都跑最大集群」，账单会以同样方式崩。
成熟模式是路由：按任务拆工作负载，给每个任务分配「能跨过质量门槛的最便宜模型」，把昂贵的调用留给真正需要它的工作。
三角形取舍：每个路由决策在三个轴上 trade-off，很难三头全赢——小模型（成本低/延迟低/质量上限够窄任务）vs 前沿模型（成本高/必远程/质量上限高）。洞察是：质量需求是「任务形」而非「系统形」。给文档标语言的分类器，不需要写高管摘要的那个模型。在自有数据上分别测每类任务的质量门槛，路由表自己就写出来了。
2. 真实流量偏斜：路由能赚钱的前提
路由之所以是「剩下的最大杠杆」，因为真实流量极不均：
- 多数应用60–80%查询很简单（抽取、分类、短问答）
- 只有20–40%需要前沿模型
路由利用这个偏斜：便宜模型接简单大块，旗舰接困难尾巴。
| 档位 | 真实占比 | 适合模型 |
|---|---|---|
| 简单（抽取/分类/FAQ） | 60–80% | 端侧/SLM/Luna 级 |
| 中等（规划/比较/改写） | 15–25% | Sol 级 |
| 困难（深度推理/复杂编码） | 5–20% | Astra 级 |
3. 级联模式：实用默认
静态路由提前把任务绑死模型；级联按请求动态路由：
请求 ──► 小模型 ──► 置信度检查 ──► 通过 ──► 完成（绝大多数流量） │ 低置信 / 校验失败 ▼ 更大模型 ──► 置信度检查 ──► 通过 │ 仍不确定 / 高利害 ▼ 跨家族共识 ──► 一致：接受 └──► 不一致：人工评审两个实现细节决定级联成败：
- 置信信号必须真实：自报置信（「给个把握分」）校准很弱。优先用「有牙齿」的信号——服务器暴露的 tokenlog-probabilities、多次采样的一致性、或小验证模型拿输入核输出。
- 升级阈值是要评估的参数，不是猜的：在你知道小模型会错在哪的标注集上定阈值——阈值处「升级成本」与「错误成本」交叉。
升级率就是你的成本杠杆：20% 升级率下，那 80% 走便宜模型的节省是实打实的；级联只在被升级请求上多花一次小模型调用，相对整体是噪音。
4. 升级信号：最便宜的往往最好
| 任务 | 最便宜可靠的升级触发 | 为何 |
|---|---|---|
| 结构化输出 | schema 校验 | 畸形输出必升级，免费且高可靠 |
| 抽取 | 抽取值是否在原文逐字出现 | 抓大多数幻觉 |
| 分类 | top-2 logit 间距小 | 强不确定信号 |
| 开放推理 | 廉价小验证模型 | 仅当结构检查真不适用才上，因为它吃掉你想省的钱 |
经验：能上结构化检查的就别上 LLM judge。judge 调用花掉你本想省下的大部分。
5. 跨家族共识：守住输不起的决策
级联顶端是另一类工具——跨家族共识。高利害判断，把同一结构化决策跑过不同家族的模型再比较：同家族共享训练血统、共享盲点；跨家族不一致才是真正有信息量的不确定性信号。
筛查与评审工作流最能体现：共识成立→放行；共识破裂→记录标人工裁定，而非瞎猜。路由表本身也该如此——一条路由靠自有任务上的实测表现挣地位，而非模型名气；模型阵容一变就要重新论证。
6. 2026 开源/托管工具
| 工具 | 类型 | 说明 |
|---|---|---|
| LiteLLM（56k+ star） | 开源代理 | 一个 API 接几十家 + 路由配置 + 成本追踪，零新设施即可路由 |
| OpenRouter | 托管路由 | 跨多模型带 fallback |
| Martian / Not Diamond | 商用路由服务 | model-as-a-router |
| 自定义 | 应用内 | 5 行分类器常够吃下 80/20 场景 |
官方 tier 即路由表：OpenAI GPT-6 本身就是三档 tier——Luna（$0.10/$0.50）扛大规模重复任务，Sol（$2/$10）做复杂编码与研究，Astra（$10/$50）做最难推理。把「按任务选档」写进网关，就是现成的路由控制面。
# LiteLLM 级联：先试便宜模型，低置信升级（伪代码）fromlitellmimportcompletiondefroute(query,task_type):# 1) 确定性路由：调用点已知任务类型时直接派发iftask_typein("extract","classify","faq"):model="gpt-6-luna"# 1/20 价格的平价档else:model="gpt-6.1-sol"r=completion(model=model,messages=[{"role":"user","content":query}])# 2) 结构化校验作为升级信号（免费触发）ifnotschema_valid(r.choices[0].message.content):r=completion(model="gpt-6-astra",messages=[{"role":"user","content":query}])returnr7. 真实省钱数学
| 分流 | 占比 | 模型 | 价格系数 |
|---|---|---|---|
| 简单 | 70% | 平价（1/20 价） | ×0.05 |
| 困难 | 30% | 旗舰 | ×1.0 |
混合成本 ≈ 0.7×0.05 + 0.3×1.0 =0.335，即较全旗舰降约 66–85%（视平价档实际价）。即便误路由吃 5–10% 质量税，任何量级下经济账都赢。
但质量护栏不能省（见第 9 节）——路由省下的钱，可能以「静默质量掉」的方式还回去。
8. 四步落地：几周可逆转
- 先观测再优化：在调用点给每个模型调用打任务类型标签，测两周各类型的量与 token 花费。多数团队发现 2–3 类任务占绝大多数花费，且至少一类「谁都想不到」。优化错任务类型 = 4% 节省 + 一堆失望。
- 先建质量门槛再建路由器：对每类高量任务，从生产流量组标注集，定义「通过」意味着什么——和 eval-driven 开发同纪律，只是用在成本决策而非能力决策。
- 测梯子而非单一替代：把标注集跑 4–5 个跨尺寸模型（含至少一个可自托管的开放权重），结果通常是阶跃函数而非平滑曲线——质量稳到某尺寸后骤降。你要的是「悬崖之上刚好一格」的模型，且要知道悬崖随每代模型移动。
- 带 flag 在部分流量上发：先 5% 单任务类型走级联，同输入比对前沿路径的 eval 分与真实产品指标，按任务类型而非百分比扩量（失败是任务相关的）。整个 rollout 几周、一个配置改动可回退。
9. 质量护栏：路由的失败模式
| 失败模式 | 表现 | 对策 |
|---|---|---|
| 静态便宜默认 | 所有活走 SLM，难推理/多步规划/模糊客户回复静默降级 | 设质量地板，难类必升级 |
| 代码里写死供应商 | 每服务硬编码模型串，财务无法导向支出 | 网关用 class ID 替代模型串 |
| 级联死循环 | 升级在模型间弹、无停止条件/上限 | 设每运行最大升级次数 |
| 无门控实验 | 周五改路由权重，周一 eval 崩 | 路由变更 gate 在「质量+成本」双 delta |
| 缓存盲视 | 相同 FAQ/抽取反复打旗舰路径 | 按 workflow+input 键缓存 |
| 风险误路由 | 法律/医疗/高利害走便宜模型 | 风险类无论预测难度都走旗舰或人工 |
四条铁律：① 绝不静默路由（路由不出类要有默认）；② 风险升级（法律/医疗/高利害无条件走旗舰或人工）；③ 跟踪路由准确率（定期抽样验证，坏路由静默吃质量）；④ 从简起步（长度/关键词/任务类型规则先吃大头，训练路由是后优化）。
10. 端侧 tier：没人计价的一层
在「最便宜托管端点」之下还有第三层——1–7B 参数模型已能在笔记本、手机、嵌入式硬件跑得可接受，预测 2027 年边缘 AI 设备约 25 亿台。对一类工作，那层的边际推理成本为零，因为算力属于用户（呼应 10-13 端侧 SLM/隐私计算）。把「能否端侧」作为路由表的最低档，是很多团队忽略的最大杠杆。
11. 百递云桥路由控制面骨架
把路由放进网关控制面（呼应 10-16 网关 triple-gate），成本可见性接 10-17/02 的 observability：
routing_control_plane:gateway:litellm# 一个 API 接多 provider + 路由 + 成本追踪tiers:# GPT-6 三档即官方 tier-{class:extract/classify/faq,primary:gpt-6-luna,fallback:gpt-6.1-sol}-{class:plan/compare/rewrite,primary:gpt-6.1-sol,fallback:gpt-6-astra}-{class:deep-reasoning,primary:gpt-6-astra,fallback:gpt-6-astra}-{class:on-device,primary:local-3b,fallback:gpt-6-luna}cascade:draft_first:trueescalate_signal:[schema_check,logprob_margin,verifier]max_escalations_per_run:3consensus:enabled_for:[legal,medical,finance]strategy:cross_familyguards:never_silent:truerisk_classes:[legal,medical,finance]# 无条件走旗舰/人工track_routing_accuracy:truecost_feedback:# 接 10-17/02 指标-cost_per_model_tier-escalation_rate与系列衔接：本文收口「成本工程」专题——10-17/01 单价杠杆 + 10-17/02 用量归因 + 本文路由，三篇把平台从「能上线、能看住、能合规」补上「算得省」。路由表要靠 02 的 cost-per-model-tier 验证「路由决策真生效」，触发信号复用 10-15 的可观测性与 10-16 的网关治理。
12. 常见问题 FAQ
Q1：路由的核心原则到底是什么？
A：问题从不是哪个模型最好，而是哪个模型对这件具体工作「足够好且最便宜」。把工作负载按任务拆开，给每类任务定质量门槛，再路由到能跨门槛的最便宜模型。
Q2：为什么路由能省那么多？
A：真实流量 60–80% 很简单，只需便宜模型；20–40% 才需前沿。70% 走 1/20 价 + 30% 走旗舰，混合成本降约 66–85%，误路由的 5–10% 质量税也抵不过经济账。
Q3：级联的升级信号用什么最可靠？
A：结构化输出用 schema 校验（免费且高可靠）；抽取看抽取值是否原文逐字出现；分类看 top-2 logit 间距。LLM judge 最贵，仅当结构检查真不适用才上。
Q4：跨家族共识有什么用？
A：高利害决策跑不同家族模型比较，不一致才是真有信息量的不确定信号（同家族共享盲点）。共识成立放行，破裂标人工裁定。用于法律/医疗/金融等输不起的场景。
Q5：GPT-6 三档怎么当成路由表？
A：Luna（$0.10/$0.50）扛大规模重复任务，Sol（$2/$10）做复杂编码研究，Astra（$10/$50）做最难推理。把「按任务选档」写进网关即现成路由控制面。
Q6：LiteLLM 够用吗？
A：多数团队够。56k+ star，一个 API 接几十家 + 路由配置 + 成本追踪，零新设施即可路由。80/20 场景里应用内 5 行分类器常也够。复杂跨模型 fallback 可加 OpenRouter/Martian。
Q7：路由有哪些典型失败模式？
A：静态便宜默认（难任务静默降级）、代码写死供应商（财务无法导向）、级联死循环（无停止条件）、无门控实验（改权重崩 eval）、缓存盲视、风险误路由（法律/医疗走便宜模型）。
Q8：如何防止路由静默掉质量？
A：四条铁律——绝不静默路由（不出类有默认）、风险升级（高利害无条件走旗舰/人工）、跟踪路由准确率（定期抽样验证）、从简起步（规则先吃大头）。
Q9：端侧模型在路由里什么位置？
A：它是比最便宜托管端点还低的一层，1–7B 在笔记本/手机跑、边际成本近零。把「能否端侧」作路由最低档，是常被忽略的最大杠杆，同时契合隐私与离线场景。
Q10：多久能落地路由？
A：几周。四步：先观测两周各任务量/花费→建每类任务质量门槛→跨尺寸测模型找「悬崖之上一格」→带 flag 在 5% 单任务流量发、按任务类型扩量，一个配置可回退。
13. 参考资料
- Zorost Intelligence,Small Models, Big Systems: Routing to the Cheapest Capable Model，2026（三角取舍、级联、跨家族共识、路由表靠实测挣地位）
- Agent Lingshu (ainomam.com),模型路由 2026：把简单查询发给便宜模型，LLM 成本降 50–80%，2026-08-11（60–80% 简单偏斜、LiteLLM 56k star、70%×1/20→降 70–85%、一周落地）
- XYZBytes,Route to the Smallest Model That Clears the Bar: The 2026 Inference Cost Playbook，2026（CASCADE、升级信号、自托管真实成本、端侧 tier、四步落地）
- Knackline,Cost-aware model routing: SLMs for the 80%, frontier for the 20%，2026（网关控制面、失败模式、cache blindness、质量地板）
- OpenAI,A model guide for the GPT-6 family, 2026-10-02（Luna/Sol/Astra 三档即官方 tier 与定价）
- Zylos Research,AI Agent Cost Optimization: Token Economics and FinOps, 2026-02-19（路由 87% 节省、提示缓存 90%）
- 本专栏，LLM 推理成本结构与降本工程全景 / LLM 成本归因与 Agent FinOps, 2026-10-17
- 本专栏，端侧 SLM 与隐私计算, 2026-10-13
