Temel ölçü: şaşkınlık
Bir dil modeli, her simge dizisine bir olasılık atar. Şaşkınlık bu olasılıkların tersidir: Modelin çok öngörülebilir bulduğu (çoğu kelimenin tam olarak modelin seçeceği şey olduğu) bir metnin karışıklığı düşüktür. Yapay zeka tarafından oluşturulan metin, onu oluşturan modele göre genellikle çok düşük kafa karışıklığına sahiptir çünkü model her zaman yüksek olasılıklı devamları seçer. İnsan yazısında daha yüksek, daha değişken bir şaşkınlık vardır çünkü insanlar beklenmedik ama tutarlı kelime seçimleri yaparlar.
Burstiness: insan varyans sinyali
İnsan yazarlar sabit bir karmaşıklık düzeyini korumazlar. Basit, doğrudan cümleler ile araştırmacıların 'patlama' dediği karmaşık, gömülü cümleler arasında geçiş yapıyorlar. Yapay zeka metni, paragraflar boyunca düzgün ve tutarlı bir karmaşıklık düzeyi koruma eğilimindedir; bu, insan yazısı için istatistiksel olarak alışılmadık bir durumdur. Dedektörler, bir patlama puanı üretmek için cümle karmaşıklığındaki farklılığı ölçer: düşük varyans, yapay zeka oluşumunu gösterir.
N-gram frekans analizi
Belirli ifade kalıpları yapay zeka üretimiyle o kadar güçlü bir şekilde ilişkilidir ki bunların varlığı tek başına kaynağı makul bir doğrulukla tahmin eder. Yaygın örnekler arasında 'Bunu belirtmekte fayda var', 'Sonuç olarak' ve 'Önemlidir' yer alır. N-gram dedektörleri, aşırı temsil edilen ifadelerden oluşan geniş arama tabloları tutar ve metni yoğunluklarına göre puanlar. Bu dedektörler hızlı ama kırılgandır; arama tablosu oluşturulduktan sonra eğitilen modellere karşı başarısız olurlar.
Jeton olasılığı filigranı tespiti
Bir model, SynthID gibi deterministik bir filigran şeması kullandığında, dedektör, üretim sırasında kullanılan aynı gizli anahtara erişebilir. Her jetonu yeşil listeye göre yeniden puanlar ve yeşil listedeki jetonların sayısını toplar. Beklenen şans seviyesinin önemli ölçüde üzerinde bir puan, olumlu bir tespit teşkil eder. Bu, şaşkınlık puanlamasından çok daha güvenilirdir ancak yalnızca anahtarı dedektörde bulunan filigranlı modeller için işe yarar.
Stilometrik özellik modelleri
Derin öğrenme dedektörleri, düzinelerce stilometrik özelliği (ortalama cümle uzunluğu, noktalama işareti yoğunluğu, kelime zenginliği, pasif ses oranı) çıkarır ve bunları geniş insan ve yapay zeka metinleri topluluğu üzerinde eğitilmiş bir sınıflandırıcıdan geçirir. Bu modeller n-gram listelerinden daha iyi genelleme yapar ancak dağıtımsal değişimden muzdariptir: eğitimden sonra piyasaya sürülen yeni yapay zeka modellerindeki metinleri yanlış sınıflandırırlar.
Karakter düzeyindeki eserleri temizlemek neden dedektör puanlarını iyileştirir?
Birçok yapay zeka dedektörü, görünmez Unicode karakterlerin varlığını yapay zeka tarafından oluşturulan metin için güçlü bir pozitif sinyal olarak kullanır, çünkü meşru insan metni neredeyse hiçbir zaman sıfır genişlikli boşluklar veya cümlenin ortasında bayt sırası işaretleri içermez. Bu karakterleri kaldırmak en güvenilir sinyallerden birini ortadan kaldırır. Ayrı olarak, bölünmeyen boşlukların ve akıllı noktalama işaretlerinin normalleştirilmesi, yapay zeka eğitim korporasıyla n-gram örtüşmesini azaltarak dedektör güven puanını daha da düşürür.