查字典的类比
生成每个词时，它会拿当前这个词去和上下文里每个词算一个相关度，然后按相关度加权取信息。
像查字典：你手上有一个词，去索引里找最相关的几条解释，综合起来用。
相关度不是语义理解，是向量之间的接近程度。所以“苹果”和“水果”近，“苹果”和“公司”也近，看上下文里哪个信号更强。
多头注意力就是同时用几套不同的相关度去查，有的关注语法，有的关注指代，最后合起来。
位置为什么重要
词在句子里的位置会影响它的权重。开头和结尾的权重通常更高，中间容易被稀释。
原因有两层：一是位置编码，模型对首尾的位置更敏感；二是信息密度，长文中间往往是最琐碎的过渡段落。
结果就是你看到的现象：问开头的内容它答得准，问中间第三十页的细节，它开始含糊。
这不完全是位置编码的问题，也和训练数据有关：人写文档时，重点本来就更常放在开头和结尾。
稀释是怎么发生的
上下文里塞进十万 token，每个词分到的注意力就被摊薄了。重要的那句和九万九千句废话混在一起，权重被平均掉。
这不是容量不够，是信噪比不够。窗口装得下，不代表它挑得出。
所以“把整本书塞进去”通常不如“先检索出三页再问”。后者信息密度高，它反而答得准。
一个粗糙的比喻：让它在三万字的书里找一句原话，不如你先撕下那几页递给它。
三条实用方法
关键约束放开头，问题放结尾。两头权重高，中间放材料。
长材料先分段摘要，再基于摘要问。多花一次调用，准确率提升明显。
要它引用原文时，要求给段落编号。有了编号，它必须回到具体位置找，比让它自由概括准。
编号还有个好处：你能快速验证它有没有真去看。
三条都不需要改模型，只改材料组织方式。成本几乎为零，效果立刻能感觉到。
如果只能改一处，改顺序。把要求放在末尾，比什么都管用。
常见问题
窗口越大是不是越不会忘？
遗忘会减轻，但不会消失。信息太杂时，大窗口一样会漏。
为什么同一段材料换个问法答案不同？
问题变了，注意力的落点也变了。换个问法相当于换了一把钥匙。
检索能完全解决吗？
不能。检索解决“找不到”，解决不了“找到了但读错”。所以关键结论还是要人核。
