
两种工具,先分清
通用长上下文:直接把文档塞进对话窗口。适合单份、一次性的阅读,几十页以内体验最好。
专用知识库工具:文档先切块建索引,提问时检索相关段落。适合几十上百份文档、要反复查的场景。

区别在于成本和准确率。单份文档用知识库工具,是多此一举;上百份文档用长上下文,塞不进去,塞进去也找不准。
一个折中:同一份文档要问十个以上问题,先让它生成一份带页码的摘要,后面基于摘要问。
提问的三种写法
定位式:第三页提到的付款条件是什么。给它位置,它就不用全文找。
对比式:这份合同和上一版在违约责任上有什么差别。适合两版对照,前提是两版都给它。
穷举式:把文中所有涉及金额的条款列出来,标明页码。这类问题最容易漏,要求它逐节扫,别一次问完。
三种写法里,定位式最准,穷举式最不可靠。重要内容用定位式多问几次,别指望一次穷举全。

- 定位式:给页码或章节
- 对比式:两版一起给
- 穷举式:要求逐节扫,多问几次
三类文档它经常答错
扫描件。没有文字层,先 OCR。OCR 错了,后面全错,而且它不会告诉你哪几个字认错了。
跨页表格。表头在第一页,数据在第二页,它经常把列对错。这种表要手工拼好再给。
拼之前把表头复制到第二页顶部,它就不会对错列。
带修订痕迹的合同。它会把删除的内容也读进去,答案和最终版不一致。给之前先接受所有修订,导一份干净版。
怎么确认它答得对
要求它每答一句都标页码和原文。标不出来的,就是它自己推的。
拿到页码就去翻那一页。翻三次有两次对得上,这份文档可以信它;对不上,说明切块或识别有问题,先修文档再问。

还有个便宜的办法:问它一个文档里明确没有的东西,看它是不是老实说没有。它要是编一个,后面所有答案都要打折扣。
问法上有个小技巧:先说“如果文档里没有,请直接说没有,不要推测”。这句话能明显降低编造率。
常见问题
为什么它说文档里没有,其实有?
多半是切块切断了。关键段落跨了两个块,检索只命中一半。调整分块大小,或者直接把那几页贴进去问。
能不能一次问十个问题?
能问,但答得浅。一个问题一段,深挖的活别批量。
表格里的数字能信吗?
单个数字可以核,汇总数不要信。让它列原始行,你自己加。


