Podstawowa miara: zakłopotanie
Model językowy przypisuje prawdopodobieństwo każdej sekwencji tokenów. Zakłopotanie jest odwrotnością tych prawdopodobieństw: tekst, który model uważa za bardzo przewidywalny – w którym większość słów jest dokładnie tym, co wybrałby model – charakteryzuje się niskim poziomem zakłopotania. Tekst wygenerowany przez sztuczną inteligencję zazwyczaj charakteryzuje się bardzo niskim poziomem zakłopotania w porównaniu z modelem, który go wygenerował, ponieważ model zawsze wybiera kontynuacje o wysokim prawdopodobieństwie. Pismo ludzkie charakteryzuje się większym, bardziej zmiennym zakłopotaniem, ponieważ ludzie dokonują nieoczekiwanych, ale spójnych wyborów słów.
Burstiness: ludzki sygnał wariancji
Pisarze-ludzi nie utrzymują stałego poziomu złożoności. Występują naprzemiennie pomiędzy prostymi, bezpośrednimi zdaniami i złożonymi, osadzonymi zdaniami – co badacze nazywają „wybuchowością”. Tekst AI ma tendencję do utrzymywania gładkiego, spójnego poziomu złożoności w akapitach, co jest statystycznie nietypowe w przypadku pisma ludzkiego. Detektory mierzą wariancję w złożoności zdań, aby uzyskać wynik wybuchowości: niska wariancja sugeruje generowanie sztucznej inteligencji.
Analiza częstotliwości N-gramów
Niektóre wzorce fraz są tak silnie powiązane z generowaniem sztucznej inteligencji, że sama ich obecność umożliwia przewidzenie źródła z rozsądną dokładnością. Typowe przykłady to: „Warto to zauważyć”, „Podsumowując” i „Ważne jest”. Detektory N-gramowe obsługują duże tabele przeglądowe zawierające nadmiernie reprezentowane frazy i oceniają tekst na podstawie ich gęstości. Detektory te są szybkie, ale kruche — nie radzą sobie z modelami wyszkolonymi po zbudowaniu tabeli przeglądowej.
Wykrywanie znaku wodnego prawdopodobieństwa tokenu
Gdy model wykorzystuje deterministyczny schemat znaku wodnego, taki jak SynthID, detektor ma dostęp do tego samego tajnego klucza, który był używany podczas generowania. Ponownie ocenia każdy żeton na zielonej liście i sumuje liczbę żetonów na zielonej liście. Wynik znacznie powyżej oczekiwanego poziomu szansy oznacza pozytywne wykrycie. Jest to znacznie bardziej niezawodne niż punktacja zakłopotania, ale działa tylko w przypadku modeli ze znakiem wodnym, których klucz posiada detektor.
Stylometryczne modele cech
Detektory głębokiego uczenia się wyodrębniają dziesiątki cech stylometrycznych – średnią długość zdania, gęstość interpunkcji, bogactwo słownictwa, stosunek strony biernej – i przepuszczają je przez klasyfikator przeszkolony na dużych korpusach tekstu ludzkiego i AI. Modele te generalizują lepiej niż listy n-gramowe, ale cierpią z powodu zmiany rozkładu: błędnie klasyfikują tekst z nowych modeli sztucznej inteligencji wydanych po szkoleniu.
Dlaczego czyszczenie artefaktów na poziomie znaków poprawia wyniki detektora
Kilka detektorów sztucznej inteligencji wykorzystuje obecność niewidocznych znaków Unicode jako silny pozytywny sygnał dla tekstu generowanego przez sztuczną inteligencję, ponieważ prawidłowy tekst ludzki prawie nigdy nie zawiera spacji o zerowej szerokości ani znaczników kolejności bajtów w połowie zdania. Usunięcie tych znaków eliminuje jeden z najbardziej niezawodnych sygnałów. Oddzielnie normalizacja spacji nierozdzielających i inteligentna interpunkcja zmniejszają nakładanie się n-gramów na korpusy szkoleniowe AI, jeszcze bardziej obniżając wynik pewności detektora.