기본 지표: 퍼플렉시티
언어 모델은 모든 토큰 시퀀스에 확률을 할당합니다. 퍼플렉시티은 이러한 확률의 반대입니다. 모델이 매우 예측 가능하다고 판단하는 텍스트(대부분의 단어가 모델이 선택한 것과 정확히 일치하는 경우)는 퍼플렉시티이 낮습니다. AI가 생성한 텍스트는 모델이 항상 확률이 높은 연속 항목을 선택하기 때문에 일반적으로 이를 생성한 모델에 대해 복잡성이 매우 낮습니다. 인간이 예상치 못한 일관적인 단어 선택을 하기 때문에 인간의 글쓰기는 더 높고 가변적인 난해함을 갖습니다.
버스트성: 인간의 분산 신호
인간 작가는 일정한 복잡성 수준을 유지하지 않습니다. 그들은 단순하고 직접적인 문장과 복잡하고 포함된 절 사이를 번갈아 가며 사용합니다. 연구자들은 이를 '폭발'이라고 부릅니다. AI 텍스트는 단락 전반에 걸쳐 부드럽고 일관된 복잡성 수준을 유지하는 경향이 있는데, 이는 인간이 쓰는 글에서는 통계적으로 이례적입니다. 탐지기는 문장 복잡성의 변화를 측정하여 버스트 점수를 생성합니다. 낮은 변화는 AI 생성을 나타냅니다.
N-그램 빈도 분석
특정 문구 패턴은 AI 생성과 매우 밀접하게 연관되어 있어 그 존재만으로도 합리적인 정확도로 소스를 예측합니다. 일반적인 예로는 '주목할 가치가 있다', '결론적으로', '중요하다' 등이 있습니다. N-gram 탐지기는 과도하게 표현된 구문의 대규모 조회 테이블을 유지 관리하고 밀도에 따라 텍스트의 점수를 매깁니다. 이러한 탐지기는 빠르지만 부서지기 쉽습니다. 조회 테이블이 구축된 후 훈련된 모델에 대해서는 실패합니다.
토큰 확률 워터마크 감지
모델이 SynthID와 같은 결정론적 워터마킹 체계를 사용하는 경우 탐지기는 생성 중에 사용된 것과 동일한 비밀 키에 액세스할 수 있습니다. 녹색 목록에 대해 모든 토큰의 점수를 다시 매기고 녹색 목록 토큰 수를 합산합니다. 예상 확률 수준보다 훨씬 높은 점수는 긍정적인 탐지를 구성합니다. 이는 Perplexity 채점보다 훨씬 더 신뢰할 수 있지만 감지기가 키를 보유하고 있는 워터마크가 있는 모델에만 작동합니다.
스타일메트릭 기능 모델
딥 러닝 감지기는 평균 문장 길이, 구두점 밀도, 어휘 풍부도, 수동태 비율 등 수십 가지 문체 특징을 추출하고 이를 인간 및 AI 텍스트의 대규모 말뭉치에 대해 훈련된 분류기를 통해 전달합니다. 이러한 모델은 n-gram 목록보다 더 잘 일반화되지만 분포 변화로 인해 어려움을 겪습니다. 즉, 훈련 후 출시된 새로운 AI 모델의 텍스트를 잘못 분류합니다.
캐릭터 수준 아티팩트를 청소하면 탐지기 점수가 향상되는 이유
몇몇 AI 탐지기는 눈에 보이지 않는 유니코드 문자의 존재를 AI 생성 텍스트에 대한 강력한 긍정적 신호로 사용합니다. 합법적인 인간 텍스트에는 너비가 0인 공백이나 문장 중간에 바이트 순서 표시가 거의 포함되지 않기 때문입니다. 이러한 문자를 제거하면 가장 신뢰할 수 있는 신호 중 하나가 제거됩니다. 이와 별도로, 잘림 방지 공백과 스마트 구두점을 정규화하면 AI 훈련 말뭉치와 n-그램 중복이 줄어들어 탐지기 신뢰도 점수가 더욱 낮아집니다.