选模型只看四个维度，榜单排名可以跳过

维度一：指令跟随

给一条明确约束，看它守不守。比如“全文不超过一百二十字，不许出现形容词，结尾必须是问句”。

三条约束里守住两条算合格，守住三条算好。很多模型能写得好，但守不住格式，这在批量处理时是致命的。

测的时候用你的真实任务，别用“写一首诗”。真实任务的约束更怪，模型也更容易露馅。

找一份三十页以上的文档，在第十页和倒数第三页各放一个不起眼的数字，然后问它这两个数字。

能答对开头，答不对中间，是普遍现象。差别在于有些模型中间也能捞回来，有些只记得头尾。

如果你的活是读合同、读研报、读技术手册，这一项比任何跑分都重要。测一次十分钟，能省掉几个月的返工。

用你行业的术语问一个基础问题，看它是不是在用外行话解释。

比如问一个具体工艺的公差范围、一个常见条款的适用条件。答得笼统说明它只有泛化知识，答得具体但要核。

这一项不能靠感觉。把它给的每个具体数字都查一遍，错两个以上，这个模型在你的领域就只能做文字活，不能做判断。

同一个提示词跑十次，看结果的结构是否一致。

十次里八次结构相同，可以进流程。五次以上不一样，就只能人看着用，不能接自动化。

稳定性比聪明更重要。一个每次都能给七十分的模型，比一个有时九十五分有时四十分的模型好用得多，因为后者你不敢不看就发出去。

测稳定性还有一个附带好处：你会发现自己提示词里哪些地方本来就模糊。同一段话被理解成十种样子，问题往往不在模型。

做内容：指令跟随和领域知识各占四成，稳定性两成。

做文档处理：长文召回占一半，其他平分。

做批量化：稳定性和指令跟随优先，聪明程度可以退一步，因为目标就是每天两千条一个样。

四项都测完，通常只剩两个候选。这时候再比价格，顺序别反。

榜单为什么不能直接用？

题目是公开的，模型在训练时可能见过类似数据；而且榜单加权方式和你关心的能力不一定一致。当参考可以，当依据不行。

测几个模型合适？

三个。两个太少分不出差异，五个以上你的判断会被细节淹没。先测最贵和最便宜的两个，再补一个中间档。

换模型后效果变差，是选错了吗？

先看提示词。不同模型对格式、分隔符、示例数量的偏好不一样，直接搬过去经常掉分。