上线前的内容审核：四道闸门和三类高危内容

四道闸门

第一道，生成时的系统提示词。明确禁止的方向，让它在生成阶段就避开。这道最便宜，也最容易被绕过。

第二道，独立的审核接口。生成完再过一遍审核模型，它和生成模型是两套判断，能补上第一道的漏洞。

第三道，人工抽检。按比例抽，高危类目全检。抽检不是为了抓个案，是为了估漏放率。

第四道，用户举报。给用户一个入口，举报要有人看，看了要有处理记录。

承诺效果的。医疗功效、投资收益、考试保过。这类内容即使不违规，也容易引发纠纷。

涉及具体个人的。指名道姓的评价、未经证实的传闻、隐私信息。模型很容易把网上的说法当事实复述。

绝对化表述。最、第一、唯一、国家级。广告场景里这是硬约束，模型不知道你在哪个场景用。

三类之外，还有一类是“看起来没问题但语境不对”：同一段表述在科普文章里可以，在商品页就是违规。所以审核要看场景，不能只看文本。

审核严了，正常内容被拦，用户体验差；松了，违规内容流出去，风险更大。

分场景定策略：对外发布的内容，宁可误杀；内部工具，宁可漏放，因为内部有使用者在看着。

误杀要有申诉通道。没有申诉，用户遇到一次就再也不用了。

漏放要能追溯。每条内容留审核记录：谁审的、什么规则、什么时间。出事时能说清楚，比事后补救有用。

新规则先灰度。百分之一的流量跑一天，看误杀率和投诉量，再放大。

灰度期间要能一键回滚。规则上线容易，下线难，因为已经发出去的内容收不回。

还有一条常被忘：历史内容怎么办。新规则上线后，旧内容要不要重扫？涉及违规的，要有下架流程。

还有一件常被忘的事：审核规则要写成人能看懂的文档。只存在代码里的规则，换个人就维护不了。

补充一句审核规则和平台政策变化频繁，具体标准以平台最新公告和法务意见为准。

审核接口会不会太慢？

会增加几百毫秒。对实时性要求高的场景，可以异步审，先发后撤，但要能撤得干净。

人工抽检抽多少？

低危百分之一，高危全检。抽检的目的是估漏放率，不是为了抓完所有问题。

用户举报没人处理怎么办？

设时限，比如二十四小时内必须处理。没有时限的举报入口，等于摆设。