题目从真实日志来
别自己编题。编出来的题往往太规整，真实输入里的错别字、缺主语、混着三种意图，它都没覆盖。
从最近一个月的调用日志里抽。按任务类型分组，每类十到二十条，总共五十条。
抽的时候偏向“难”的：之前答错的、用户追问过的、人工改过的。这些题才有区分度。
五十条里，简单题占三成，中等四成，难题三成。全是难题，任何模型都只有三十分，看不出差别。
也别全是长文。真实使用里短问题占多数，评测集要反映这个比例。
怎么标答案
能二元判断的就二元：对或错。分类、抽取、格式转换，都属于这一类。
不能二元的，定三档：可用、需小改、不可用。写作、摘要用这一套。
关键是标准要写下来。什么叫“需小改”，得有一句定义，否则两个人标出来不一致。
标注自己来。让模型标，等于让它给自己打分。
标不完就减题，别降低标准。五十道标得准，胜过两百道标得糊。
怎么跑才可比
同一批题、同样的参数、同样的提示词，只换一个变量。换模型就只换模型，改提示词就只改提示词。
每条跑三次。生成有随机性，单次结果不可靠。三次里两次对，算对。
记录要全：题号、输出、判定、耗时、token 消耗。少记一样，后面分析就缺一块。
跑完存一份，下次对比用。没有历史记录，你只能说“感觉好一点”。
把每次结果存成一张表：模型名、日期、正确率、典型错误。半年后这张表就是你的选型依据。
结果怎么读
看总体正确率，也看分类正确率。总体涨了三个点，但长文类掉了十个点，这个涨是假的。
看稳定性。两次结果差十个点以上，说明题目太少或者任务本身随机性大，结论不可信。
别追小数点。五十题的评测集，一个点的差异就是半道题，没有意义。差五个点以上才值得讨论。
还有，评测集要更新。三个月加十道新题，把已经全对的旧题换掉，否则它会越来越容易。
常见问题
五十题会不会太少？
够做方向判断，不够做精细比较。要上线决策，加到两百题。
能不能用公开评测集？
可以当参考，但它不测你的任务。两者结合，公开集看能力，自建集看适配。
标注太主观怎么办？
把标准写成可判断的句子，找同事标十题对比。一致率低于八成，回去改标准。
同栏目继续读
技术原理Transformer 直觉：它只是在猜下一个词
Transformer 的生成方式很朴素：每次根据前文猜下一个词。编造、算错、前后矛盾三类毛病，都能从这个机制推出来。
技术原理注意力：为什么它记得开头，忘了中间
注意力机制像查字典：每写一个词就回头扫一遍全文并分配权重。开头权重高、中间被稀释，长文召回因此衰减。想让中间段落被读到，就把它挪到开头或结尾。
技术原理RAG：检索能补事实，补不了推理
RAG 补事实不补推理：分切块、检索、生成三步，切块切坏了，后面怎么调都救不回来。切块两百到五百字一段，比按页切好。