SAFETY 安全合规

三类事实必须回原文:数字、条款号、人名

它编的时候不结巴,语气还很笃定。越是这样,越该回原文对一眼,语气不能当证据。

三类事实必须回原文:数字、条款号、人名
题图 / Unsplash

它为什么会编

模型做的是预测下一个词。它见过大量“条款第几条”“据统计多少”这样的句式,所以能把这个句式填得很顺。

顺不等于对。流畅度来自语言规律,准确度来自它有没有真的见过那条信息。两件事在模型内部不是一回事。

更麻烦的是,它不会在编的时候停顿。人编造会犹豫,它不会,输出速度一模一样。你只能靠外部核对,不能靠语感判断。

所以核查要变成流程动作,不能靠“感觉不对再查”。

眼镜压着本子,逐项核对
场景配图 / Unsplash

三类必须核

数字。金额、比例、期限、人数、版本号。这类错得最多,也最容易被当真。

引用。条款号、文件号、论文标题、人名。它会把真实存在的两个东西拼成一个不存在的第三个。

流程与时效。办事需要几份材料、审批要几天、政策什么时候生效。这类信息变化快,它的知识很可能过期。

  • 数字:金额、比例、期限、版本
  • 引用:条款号、文件名、出处
  • 流程:材料、时限、生效日期

三种核查动作

要出处。让它标出每句话来自你给的材料第几段。标不出来的,就是它补的。

限范围。明确说“只根据我给的这段材料回答,材料里没有就说没有”。这一句能砍掉大部分编造。

二次检索。关键事实自己搜一遍,或者换个模型再问一次。两个模型给出不同答案的地方,就是最该核的地方。

三个动作里,限范围的性价比最高,顺手就能加。但它只防“材料外编造”,防不了“材料内误读”,所以出处还是要看。

一个折中:让它先给结论,再给每条结论对应的原文。顺序反了,它容易先想结论再找依据。

笔记本与钢笔,抄录原文
场景配图 / Unsplash

一个常见场景

让它总结一份合同的风险点,它列出“根据第八条第二款,违约金上限为合同总额的百分之三十”。

听着很专业,但你去翻,第八条讲的是付款方式,第二款根本没有违约金。它是把“第八条”“第二款”“百分之三十”这几个常见元素拼在了一起。

正确做法:让它先给原文摘录,再给解读。有摘录你能对,没摘录一律当推测。

这条规则对所有“看起来专业”的输出都适用:先要原文,再要结论。

补充一句对外发布的内容,事实核查的时间要算进流程。省这一步,赔的是信誉。
尺子与图表,量一下对不对
场景配图 / Unsplash

常见问题

让它自查能发现问题吗?

有限。它能发现明显的自相矛盾,发现不了自己编的细节。自查适合查逻辑,不适合查事实。

两个模型答案不一样,信哪个?

都不信,去查原文。分歧只说明这里有风险,不说明哪个对。

引用来源链接可靠吗?

不一定。链接可能打不开,也可能打开是另一个内容。点进去看,别只看它给的标题。