不是压缩包
把 70B 压成 7B，不是删掉几成参数就行——参数之间咬合在一起，抽掉就散架。蒸馏走另一条路：训练一个全新的小模型，让它对着大模型的答案学。
怎么教：照着老师的答案学
做法朴素：同一批问题，让大模型答，小模型跟着对答案。讲究一点的做法里，老师给的不只是最终答案，还有每个候选词的概率——小模型学的是「老师在哪些地方犹豫」，这比只看答案学到的东西多。
学得到什么，学不到什么
高频、成型的任务学得好：日常问答、摘要、常见代码。学不到的是老师偶尔才露一手的本事——长链推理、冷门领域的细节，小模型在这些地方和老师差距拉开。老师的「直觉」能传，「见识」传不全。
什么时候选蒸馏小模型
三种场景：延迟敏感（要在手机或本地设备上实时出结果）、量大（一天几十万次调用，差价乘起来很可观）、任务窄（就做分类、抽取这类固定活）。三条都不沾，直接用大模型更省心。
判断标准：五十次测试
拿你自己的五十道题让小模型跑一遍，数错几道、错在什么类型。日常任务错两三道且都能发现，可以换；长尾题错一片，留着当草稿模型，终稿还是交给大模型。
补充一句蒸馏模型的能力上限是老师的影子，它不会超过老师。想要超过，靠的是你的业务数据和微调，不是换个更小的模型。
