AIGC检测准不准？把翻车案例和盲测数据摆在一起看｜pcpass检测
问答指南·Thu Oct 29·PCPASS 指南
先讲两个真事。2025 年 9 月，有高校做了一轮实测：一篇 100% 由 AI 写成的英文稿，放进 Turnitin，分数是 0。同一年，知乎上有学生把某位校长已经发表的论文拿去测，AI 率 5%——那篇论文写成的时候，生成式 AI 还没影呢。一边是真 AI 拿零分，一边是纯人写拿高分，你说这东西准不准？
这个问题我问过自己很多次，因为我们自己就是做检测的。下面把公开的翻车案例和我们自己的一手盲测摆在一起，说清楚三件事：误差从哪来、哪些分数能信、怎么用才不吃亏。
官方口径和独立评测，中间隔着一道沟
各家官方口径都好看：Turnitin 说准确率 92%，还说 AI 占比超过 20% 的文稿误报率低于 1%；Originality 说 98%。可独立评测一跑，数字就换了一副面孔——Turnitin 的 AI 检出在一份评测里只有 29%；同一份千篇英文基准里，ZeroGPT 把 18.4% 的人类文本判成了 AI。
两个数字都对，因为说的不是同一件事。官方口径的准确率，是在自家选的样本集上算的；独立评测用的是别人的样本。样本一换，排名就能倒过来。这不算作弊，算统计的常态，只是买检测服务的人很少被告知这一点。
| 数字 | 出处 | 它实际在说 |
|---|---|---|
| 准确率 92% | Turnitin 官方 | 自选样本上的校准结果 |
| AI 检出 29% | 第三方评测 | 换一批样本后的召回表现 |
| 人类误报 18.4% | 千篇基准（ZeroGPT） | 每五个真人里近一个被冤枉 |
| 100% AI 稿得 0 分 | 高校实测 2025-09 | 漏判真实存在 |
| 校长论文 AI 率 5% | 知乎学生实测 | 误判也会落在已发表文本上 |
我们自己的盲测：同一段文字，一个天上一个地下
别人的评测隔着一层，说个我们自己的一手数据。做英文检测校准的时候，我们攒了 451 个段落级样本，挑了 6 个脱敏片段（只截首句），让四个检测系统盲测，自家系统也在被测之列。结果里最刺眼的是第 2 行和第 3 行：一句人类写的文字，被某个系统判成 0.78（高置信 AI）；一句 AI 写的，在另外两个系统上是 0.03 和 0.00，全漏。
还有一篇稿子让我们折腾了很久。6,150 词的护理稿，我们的分类器给 97.47%，统计信号分支只给 21.56%，差了 75 个百分点。把输入、切分、阈值挨个核了一遍，谁都没错，它就是这样一篇稿子。那批测完我们内部有句话流传下来：检测器之间不可互换，换工具等于换分数。
误差从哪来：三句话说完
第一句，检测器看的是文本特征，不是事实。句式是不是等长、用词分布是不是太平、有没有真实的细节起伏，它只认这些信号；你写没写、熬没熬夜，它不知道。
第二句，每家的口味是被喂出来的。拿申诉场景做校准的系统宁可漏判也要压误报，拿内容审核做校准的系统宁可错杀也要追召回。同一篇稿子交给性格相反的两个系统，数字自然对不上。
第三句，改写会让所有人失灵。paraphrase 之后的文本，几乎全部工具的准确率都明显下降——这对想钻空子的人是好消息，对被误判的人也是：你的稿子被标 AI，改的可能只是表述，不是内容。
那这东西还能用吗：当指南针，别当判决书
能测出误差大，恰恰说明它有稳定的用法。同一套系统、同一个口径下，你稿子的高疑似段分布是相对可靠的——它指不出真相，但指得出「哪几段在这套算法眼里最像 AI」。改写本来就该按段打靶，这个用途上它是称职的。
不能干的事也列清楚：别拿一个系统的分数去推另一个系统；别拿免费工具的一次 0% 当护身符；别在答辩前突然换工具复测，数字一换，前面全白改。学校用哪个，你自测就用哪个，改完还用它复测，这条口径线从初稿守到终稿。
非母语写作者要多说一句：句式变化天然偏少，和机器特征重叠，误伤率就是更高，Turnitin 官方自己都承认。被标了先别怀疑自己文笔，按段拆解、补具体细节，比自我怀疑有用。真被学校判了怎么办，复核、申诉和局部修改的路子，另写了一篇《自己写的被判AI怎么办》。
本文出自 pcpass
方法笔记
这篇的长文在本站。步骤和检查项集中在 论文查重与 AIGC 自查笔记，按主题查找见 笔记站指南目录。检测和改写仍在本站。