模型分级：把八成的活交给便宜的那一档

先看任务分布

把一周的调用按类型列出来，分四类：分类打标、信息抽取、改写生成、复杂推理。

多数团队的结果是前两类占七成以上。这七成，用最便宜那档完全够。

统计方法很土：抽一百条真实请求，人工标类型，算比例。半小时的活，能省下后面几个月的钱。

如果统计出来复杂推理占一半，说明你的业务确实需要好模型，别硬降。

统计时别只看次数，也看成本占比。有时候两成的复杂任务贡献了六成的费用，那才是优化的重点。

便宜档：分类、抽取、格式转换、简单问答。要求是稳定和便宜，不要求聪明。

中档：常规改写、摘要、客服草稿。要求是语言自然、指令跟随好。

顶配：长文跨段推理、代码调试、对外发布的终稿。要求是一次做对。

配置的原则是按任务，不按人。同一个岗位既有分类的活，也有写方案的活，按人一刀切一定浪费。

硬编码最简单：每个功能写死用哪档，改的时候改一行。适合功能不多、边界清楚的团队。

按长度路由：输入超过三万字走长上下文模型，短的走便宜的。规则简单，但要防着长文任务被误判。

按置信度路由：先让便宜模型做，它给出低置信或者拒答，再升级到好模型。这一招在分类任务上省得最多，实现也最复杂。

三种从简到繁，先上第一种，跑一个月看账单，再决定要不要往下走。

格式稳定性先掉。小模型更容易漏字段、破 JSON，下游解析会报错。

长文召回掉得最多。同一份文档，大模型能答中间段落，小模型经常只记得开头。

拒答尺度也会变。有的小模型更保守，同一批内容通过率骤降。

上线前用同一批样本对比，记录三件事：格式合格率、答案准确率、拒答率。三个指标都守住，才敢切流量。

切的时候按比例来，先切一成，观察三天，再往上加。一次全切，出问题来不及回。

补充一句分级不等于永远不用好模型。关键路径留一个开关，出问题时能一键切回顶配，比事后救火便宜。

小模型能处理多长的文档？

标称窗口是一回事，实际召回是另一回事。超过两万字，小模型中间段落基本靠猜，别硬用。

怎么说服老板降级？

拿一批真实样本做对比，给出准确率和成本的对照表。只说“便宜”没有说服力。

分级之后维护成本会涨吗？

会。多一套配置就多一处要测。功能少于五个时，分级带来的复杂度可能超过省下的钱。