Transformer、RAG、微调，能力边界在哪
AI技术原理用类比讲边界：模型在预测下一个词，所以会编；RAG 补事实不补推理；微调改风格不改知识；Agent 步子越多越容易跑偏。
「它为什么会一本正经地编」「RAG 上了为什么还是答错」「微调能不能让它记住新制度」，这三个问题都指向机制，不看机制只能靠试。
按 Transformer、注意力、RAG、向量检索、微调、量化、Agent、评测的顺序读，每篇配一个反例。判断标准：能不能提前说出它大概会错在哪。
技术原理混合专家（MoE）：为什么大模型能又快又便宜
混合专家模型的思路像医院分诊：来一个问题，只找最相关的几位「专科医生」，其余专家不动。参数量大但每次只激活一小部分，速度和成本才压得下来。
技术原理蒸馏：把大模型的能力装进小模型
蒸馏不是把大模型压个 zip，而是让小模型模仿大模型的输出。学到的是「怎么答」，不是「参数本身」。手机上能跑的模型，多半有蒸馏的功劳。
技术原理Transformer 直觉：它只是在猜下一个词
Transformer 的生成方式很朴素：每次根据前文猜下一个词。编造、算错、前后矛盾三类毛病，都能从这个机制推出来。
技术原理注意力：为什么它记得开头，忘了中间
注意力机制像查字典：每写一个词就回头扫一遍全文并分配权重。开头权重高、中间被稀释，长文召回因此衰减。想让中间段落被读到，就把它挪到开头或结尾。
技术原理RAG：检索能补事实，补不了推理
RAG 补事实不补推理：分切块、检索、生成三步，切块切坏了，后面怎么调都救不回来。切块两百到五百字一段，比按页切好。
技术原理向量检索：相似不等于相关
向量检索算的是语义距离，近不等于相关：反义句、同主题不同问题、长句对短句都会误判。混合检索加关键词兜底能补召回。
技术原理微调改风格不改知识：四种解决不了的问题
微调动的是表达习惯，知识更新还得靠检索。LoRA 把可训练参数压到百分之一以内，三类任务适合，四种问题解决不了。
技术原理量化：4bit 之后到底掉了什么
4bit 之后到底掉了什么？模型量化用精度换显存，通常省下六到七成，掉分集中在长链推理、代码生成、多语言三类。
技术原理Agent 与工具调用：流程固定的才稳定
Agent 与工具调用差在谁决定下一步：调用由代码写死，Agent 由模型自己选。步子越多误差越累积，五步以上要留人工。
技术原理自己搭一个五十题的评测集，比看榜单有用
榜单测的是别人的任务。模型评测自己搭五十题就够：题目从真实日志里捞，答案人工标，换模型前后各跑一遍。五十题跑两轮，差异才算稳定。