MoE 模型质量更差吗？

不会因为稀疏就差。同等算力预算下，MoE 通常能塞进更多参数，多数任务表现持平或更好。真正要留意的是任务差异：冷门领域命中专家少，波动比稠密模型大一点。

为什么有时候还是慢？

慢可能出在热门专家挤在一起，算力排队。这是调度问题，不是你用错了。重试或换时段，常常比换模型有效。

任务杂、负载重，MoE 的大参数量划算；任务窄、要本地跑，小模型或蒸馏模型更省心。拿你自己的五十题各跑一遍再定。

普通模型是「全家上」：来一个词，所有参数都参与计算。参数涨一倍，单次算力就涨一倍，成本跟着涨。这就是为什么稠密模型的参数量不敢随便加。

混合专家模型把参数拆成很多组「专家」，前面加一个路由器。每个 token 进来，路由器看一眼，只把计算派给最相关的两三位专家，其余专家这一步完全不参与。这就是稀疏激活：总参数量很大，每次动用的只是一小角。

类比医院：病人先进分诊台，按症状挂两个科，不需要全院会诊。

一，同样价格能买到更大的参数量，常识类、代码类问题受益明显。二，不同问题命中的专家组合不同，输出在冷门问题上波动略大。三，微调成本没有跟着降——训练要动路由，比调一个稠密模型麻烦。

专家之间不通信，也不讨论。每个 token 独立分诊，各专家的产出在后面拼回一个结果。把它想象成「一群小模型开会」，会推出错误的结论，比如以为它能在多轮里换「会诊团队」——不会。

对使用者来说，看两个数就够了：同价位下的速度，和同速度下的参数规模。一个 MoE 模型报价持平但响应明显更快，通常就是稀疏激活在省算力。至于内部有几个专家，不用操心——那是厂商的成本账，不是你的使用账。

补充一句模型卡上写的「激活参数」比「总参数」更值得看，前者才决定单次计算的量级。