微调改风格不改知识：四种解决不了的问题

微调动了什么

用你的数据继续训练，调整模型参数，让它在你这类输入上的输出分布更接近你的样本。

它学的是“这种问题该怎么答”的形式：长度、语气、结构、常用词。

它不容易学的是具体事实。一条上个月改的规定，在训练数据里出现十次，它也可能记混。

所以判断标准很简单：改的是形式还是内容。改形式可以微调，改内容用检索。

还有第三种：既改形式也改判断标准。比如审核模型，这类微调是合适的。

全量微调要更新所有参数，显存和时间都吃不消。LoRA 不动原参数，只在旁边加一小块低秩矩阵，训练这一小块。

类比：不改原书，贴一张便签。推理时把便签一起读。

代价是效果上限低一些，复杂任务可能不够。好处是几张卡就能跑，几百条样本就能试。

多数团队的第一次微调都该从 LoRA 开始，跑通了再考虑要不要全量。

LoRA 还有个好处：一个底座可以挂多个适配器，按任务切换，不用为每个任务存一份完整模型。

固定格式的输出。比如把工单转成特定结构的 JSON，字段多、规则细，提示词写到两百行还是不稳。

固定口吻。品牌客服、特定角色的对话，要求每句话都像同一个人说的。

领域术语密集。通用模型总用错行话，而你的语料里有大量正确用法。

补事实。昨天改的价格、上个月发的通知，微调学不进去，除非你天天重训。

推理能力。微调能让它答得更像，不能让它在难题上更聪明。

数据太少。几百条高质量样本能改风格，改不了能力。少于五百条，先别急。

样本质量比数量重要。五百条标注一致的，胜过五千条互相矛盾的。

需要引用的场景。微调后的模型不会告诉你答案来自哪份文件，检索才会。

补充一句微调前先问一句：这套需求，改提示词能不能解决八成。能，就别训。训一次的成本，够你调很久提示词。还有一条：微调后的模型要重新评测，不能拿旧结论套。

微调后还需要提示词吗？

需要。微调改的是默认行为，具体任务还是靠提示词约束。两者不替代。

数据怎么准备？

输入输出成对，格式统一，去掉重复和低质样本。一千条干净数据胜过一万条杂数据。

微调后效果变差怎么办？

先看是不是过拟合：训练集很好，新样本很差。减少训练轮次，或者加更多样的样本。