AI 润色和翻译会被水印标记吗?论文里哪些用法会留下痕迹

问答指南·Fri Sep 11·PCPASS 指南

AI 润色与翻译痕迹说明配图

「我只是让 AI 润色了绪论那两段,会不会被标出来?」

这句话,是最近被问得最多的。问的人大多处于这样一种状态中,正文自己写了大半年,只有个别段落觉得表达不顺,或者英文摘要拿不准。就交给AI顺了一遍。交稿前突然听说Claude给输出加了水印,心里就开始打鼓了。

本问题不能用会或者不会来回答,润色、重写、翻译是三种不同的用法,留下痕迹的方式也不同。分开来看就清楚了。

三种用法,风险各不相同

轻度润色就是改几个词、调换语序、把长句拆成短句。这种用法去不掉已经存在的水印,但也不会因为润色本身就让整篇被判成AI生成。原因在后面讲。

把全部内容交给AI进行重写,性质就发生了变化。当改写的程度足够深的时候,原有的水印就会被清除掉,但是文本的统计特征会变得非常明显,句式变得规整。用词范围变窄。过渡句开始成套出现。这些都是AIGC检测盯的指标。重写反而会增加疑似度。

翻译是第三种情况。翻译过程会带上水印,这一点比较反直觉——把中文译成英文,水印并不会消失,而是跟着到了译文里。如果原文本身就是 AI 生成的,翻译也消不掉它。

为什么改几个词去不掉

文本水印的做法和很多人想的不一样。它不往文章里塞东西,整段文本不会多出任何字符,也没有隐藏字符,额外的 token 开销为零。它影响的是模型选词的偏好。

模型每次写一个词,都是在做选择。描写天气的时候,它可以从 overcast 或者 grey 里挑一个,两者都说得通。水印系统用一把密钥和前面的文本一起决定这一次选哪一个。没有异常。但是同样的偏好会在长文中重复出现,渐渐积累成一个统计标记。

关键在于水印是散开的,摊在全文大量的选词里,没有集中在某几处。所以换几个词、移动标点,破坏不了统计证据。能消除它的是彻底改写,也就是换词复述。

它也有够不着的地方。事实性唯一答案没有选择的空间,2+2只能等于4,嵌不进去;代码基本不嵌,顶多在注释里嵌一点。

短文本的判断为什么更不可靠

还有一个规律值得记住:文本越短、模型分布熵越低,检测就越不可靠。

果壳7月做了一组测试,使用大约50词元的短文本和定制版SynthID检测器。30段带水印的文本中可以明确检出的只有6段,24段进入不确定区间;184次纯人类文本测试误判10次,误报率5.4%。原文自己加了警告,这是短文本、开源配置的结果,并不代表厂商的实际水平。

这个结论对于摘要来说特别有意义。摘要一般几百字,翻译过来的摘要更短,正处在检测最不靠谱的区间里。所以不管是水印检测还是 AIGC 检测,对短文本的结论都不能当作铁证。北京互联网法院就有一个判例,一篇真人短文被误判为 AI 生成而遭到平台限流,法院最终认定平台违约。

学校那边实际看的是什么

学校使用的AIGC检测,不管是知网、维普还是格子达,查的都是统计特征疑似度。它不查厂商水印,因为水印只有厂商自己持密钥能验,各家只能验自家的输出,第三方拿不到密钥。

两件事要分开:稿子里有没有厂商水印,稿子会不会被AIGC检测命中,是互相独立的。使用带水印的模型,学校那套系统也读不出水印;同样,用没用带水印的模型,决定不了检测结果。

报告出来之后,重点看段落级的标注。高度疑似、中度疑似等分级能清楚地指出修改的地方,比总分更有参考价值。一份稿件两次检测差一两个点很正常,不要因为这点波动而反复修改。

实践里比较稳的几条

润色留过程稿。改之前的版本、改之后的版本都存着,万一被质疑,这是最直接的材料。

翻译之后通读一遍。机器译出的句子有它自己的腔调,读着别扭的地方自己改掉,既是质量把关,也让文本更像你自己的表达。

引用和数据自己写。文献怎么引、数据怎么呈现,这部分本来是照实记录,交给 AI 反而容易出岔子。

不能用同义词工具多次进行「洗」。同义词替换是检测模型最敏感的操作之一,改完句子又碎又怪,用词范围还窄了,疑似度容易不降反升。要改,就按报告里标明的段落来改。

最后的顺序问题,学校同时要求查重和AIGC的时候,把两项当作两张报告分开处理,一般先降重再降AI。改完用同一口径复测一遍。不同的系统分数不能互相转换,自测好看只算中间状态。

这套顺序怎么排,论文双查怎么一次过里有完整记录;报告上那些分级分别代表什么,可以对着检测报告怎么看一起看。

常见问题

只让 AI 润色了几句话,会不会被判成 AI 写的?
一般不会。轻度润色去不掉已经存在的厂商水印,但也不会因为润色本身就让整篇被判成 AI 生成。学校那边看的是统计特征,真正推高疑似度的操作是成段让 AI 重写。
把中文摘要翻译成英文,水印会消失吗?
不会。翻译过程本身会带上水印,把中文译成英文,水印是跟着到译文里的。如果原文就是 AI 生成的,翻译也消不掉它。
摘要这类短文本的检测结果准吗?
不太可靠。果壳 7 月的测试里,30 段带水印短文本只明确检出 6 段,另有 24 段落进不确定区间,同时纯人类文本的误报率是 5.4%。摘要通常只有几百字,正落在最难判的区间,结论不宜当铁证。
改了几个词为什么检测结果没变?
水印散布在全文大量的选词当中,不是集中在某几处。换几个词、移动标点都破坏不了统计证据。能消除它的是彻底改写,也就是换词复述。
按学校指定口径自测 AIGC

先看哪些段落被标高,再决定改哪里

按学校指定口径自测 AIGC

相关阅读