基本的な指標: パープレキシティ
言語モデルは、トークンのすべてのシーケンスに確率を割り当てます。パープレキシティはこれらの確率の逆数です。つまり、モデルが非常に予測可能であると判断したテキスト (ほとんどの単語がモデルが選択したものとまったく同じである場合) は、パープレキシティが低くなります。 AI によって生成されたテキストは、モデルが常に確率の高い継続を選択するため、通常、それを生成したモデルに対するパープレキシティは非常に低くなります。人間は予想外ではあるが一貫した単語を選択するため、人間の文章はより複雑で変化しやすくなります。
バースト性: 人間の分散シグナル
人間のライターは、一定の複雑さのレベルを維持しません。単純で直接的な文と複雑で埋め込まれた条項が交互に繰り返されます。これを研究者は「バースト性」と呼んでいます。 AI テキストは、段落全体で滑らかで一貫した複雑さのレベルを維持する傾向がありますが、これは人間の文章としては統計的に異例です。検出器は文の複雑さの分散を測定してバースト性スコアを生成します。分散が低い場合は AI 生成を示唆します。
Nグラム頻度解析
特定のフレーズ パターンは AI 生成と非常に強く関連しているため、その存在だけでソースが妥当な精度で予測されます。一般的な例には、「留意する価値があります」、「結論として」、「～することが重要です」などがあります。 N グラム検出器は、過剰に表現されたフレーズの大規模なルックアップ テーブルを維持し、その密度に基づいてテキストをスコア付けします。これらの検出器は高速ですが脆弱です。ルックアップ テーブルの構築後にトレーニングされたモデルに対しては失敗します。
トークン確率透かし検出
モデルが SynthID のような決定論的な透かしスキームを使用する場合、検出器は生成時に使用されたものと同じ秘密キーにアクセスできます。グリーン リストに対してすべてのトークンを再スコアリングし、グリーン リストのトークンの数を合計します。予想される確率レベルを大幅に上回るスコアは、陽性の検出を構成します。これは、パープレキシティ スコアリングよりもはるかに信頼性が高くなりますが、検出器がキーを保持する透かし入りのモデルに対してのみ機能します。
スタイロメトリック特徴モデル
ディープラーニング検出器は、平均文の長さ、句読点の密度、語彙の豊富さ、受動態の比率など、数十のスタイロメトリーの特徴を抽出し、人間と AI のテキストの大規模なコーパスで訓練された分類器にそれらを渡します。これらのモデルは、n-gram リストよりも一般化が優れていますが、分布の変化に悩まされています。トレーニング後にリリースされた新しい AI モデルのテキストを誤って分類します。
キャラクターレベルのアーティファクトをクリーニングすると検出器のスコアが向上する理由
いくつかの AI 検出器は、目に見えない Unicode 文字の存在を AI 生成テキストの強力な肯定的なシグナルとして使用します。これは、人間による正規のテキストには、文中に幅 0 のスペースやバイト オーダー マークが含まれることはほとんどないためです。これらの文字を削除すると、最も信頼性の高い信号の 1 つが削除されます。これとは別に、非改行スペースとスマート句読点を正規化すると、AI トレーニング コーパスとの N グラムの重複が減り、検出器の信頼性スコアがさらに低下します。