换模型前，先跑这张对照表

榜单为什么靠不住

评测集是挑出来给所有模型做的公共题，你的活不是公共题。榜单上前两名差零点几分，落到你的三件活上可能完全反过来：它赢在多语言问答，你天天做的是长文档改写。

还有一层：评测集是公开的，厂商发榜前会拿它调优，分数里有水分。你不知道水分在哪，但至少知道它不在你的任务里。

所以榜单只干一件事：把几十个候选砍到三四个。砍完之后怎么挑，得靠你自己的表。

挑活的标准跟第一次跑通任务一样：材料现成，对错一眼能看出来。比如改一段商品文案、从三十页 PDF 里抽出五个数字、把一堆乱格式整理成表格。别挑“感觉它不太行”的那种活，你预设了答案，测出来也是偏的。

每件活，新旧模型各跑两遍。两遍不是重复劳动：第一遍看它默认输出什么样，第二遍看同样的提示词结不结得住。一遍定不了性，运气会冒充实力。

记分用四栏：指令遵循、格式稳定、幻觉次数、单次价格。每栏只记事实，不记感觉。

指令遵循：约束破没破，破了几条，逐条记。格式稳定：两遍输出的结构一不一样，段落、标题、字段跑没跑偏。幻觉次数：它编了几个材料里没有的数字、名字、引用，零就是零，一就是一。单次价格：按平台报价折算成一次调用几分钱，输入输出都算上。

表可以就是一张纸，或者五行表格文件。工具不重要，重要的是别凭印象下结论。三件活乘两个模型乘两遍，一共十二次调用，十分钟跑完，花不了一块钱。

幻觉那一栏分量最重。新模型只要在一件活上编造了关键数字，而旧模型没有，这一票基本就定了：其他三栏追不回一条编造的引用。

指令遵循和格式稳定看倍数：十次里破约束的次数差到三倍以上，才值得动。只差一次，属于正常波动，换了也是白换。

价格看量和差价：单次差一倍以上、你一天几十次以上，才进得了账。一天三次的活，单价差十倍也省不出一杯咖啡。

判读规则一句话：三件活里两件明显更好、一件打平，换；一件好两件平，留旧模型，下个版本再测。

这一步最容易被跳过。旧提示词是按旧模型的脾气调出来的：分隔符、示例数量、字数写法，处处是暗号。直接搬过去，测出来的“新模型不行”，可能只是暗号失效。

所以决定换之后，先按新模型的格式习惯把主力提示词改一遍，再拿同一张对照表跑最后一轮，这一轮的结果才算数。改的时候一次只动一处，改完就跑，全改完再一起测，出了问题不知道怪谁。

最后把对照表存下来，记上日期和模型版本。半年后又有新模型发布，同一张表原样再跑一遍，两列数字一对比，答案自己会出来。

补充一句测的时候别开联网搜索和插件，裸模型才测得出裸实力。带着外挂测出来的差距，迁移之后未必还在。

榜单就一点用没有？

有用，当筛子用。垫底的先排除，前排都进候选。但排第几不用管，前几名在你的活上差多少，榜单量不出来，得靠对照表。

三件活跑不出差异怎么办？

那就别换。迁移本身有成本：提示词要重校，流程要重测。差异不到值得折腾的程度，不折腾就是赚。

对照表要存下来吗？

要。存下日期、模型版本和四栏数字。半年后新模型出来，原样再跑一遍，两次结果一对比，换不换一眼就有答案。