基本指标:困惑度
语言模型为每个标记序列分配一个概率。困惑度是这些概率的倒数:模型认为非常可预测的文本(其中大多数单词正是模型会选择的内容)具有较低的困惑度。人工智能生成的文本通常对生成它的模型具有非常低的困惑度,因为该模型总是选择高概率的延续。人类写作具有更高、更多变的困惑,因为人类会做出意想不到但连贯的词语选择。
突发性:人类方差信号
人类作家不会保持恒定的复杂性水平。它们在简单、直接的句子和复杂、嵌入的子句之间交替——研究人员称之为“突发性”。人工智能文本往往会在段落之间保持流畅、一致的复杂性水平,这对于人类写作来说在统计上是不寻常的。检测器测量句子复杂性的方差以产生突发性分数:低方差表明人工智能生成。
N-gram 频率分析
某些短语模式与人工智能的生成密切相关,仅靠它们的存在就可以相当准确地预测来源。常见的例子包括“值得注意的是”、“结论是”和“重要的是”。 N-gram 检测器维护过度表示的短语的大型查找表,并根据其密度对文本进行评分。这些检测器速度快但很脆弱——它们在查找表建立后训练的模型上失败了。
令牌概率水印检测
当模型使用 SynthID 等确定性水印方案时,检测器可以访问生成期间使用的相同密钥。它根据绿名单重新对每个令牌进行评分,并对绿名单令牌的数量进行求和。明显高于预期机会水平的分数构成阳性检测。这比困惑度评分可靠得多,但仅适用于检测器持有其密钥的带水印模型。
风格特征模型
深度学习检测器提取数十种文体特征——平均句子长度、标点符号密度、词汇丰富度、被动语态比率——并将它们传递给在大型人类和人工智能文本语料库上训练的分类器。这些模型比 n-gram 列表具有更好的泛化能力,但存在分布偏移:它们对训练后发布的新 AI 模型中的文本进行了错误分类。
为什么清理字符级伪影可以提高检测器分数
一些人工智能检测器使用不可见的 Unicode 字符的存在作为人工智能生成文本的强烈积极信号,因为合法的人类文本几乎从不包含零宽度空格或句子中间的字节顺序标记。删除这些字符就消除了最可靠的信号之一。另外,规范化不间断空格和智能标点符号可以减少与 AI 训练语料库的 n 元语法重叠,从而进一步降低检测器置信度得分。