De fundamentele maatstaf: verbijstering
Een taalmodel kent aan elke reeks tokens een waarschijnlijkheid toe. Verbijstering is het omgekeerde van deze waarschijnlijkheden: een tekst die het model zeer voorspelbaar vindt – waarbij de meeste woorden precies zijn wat het model zou hebben gekozen – heeft een lage verbijstering. Door AI gegenereerde tekst heeft doorgaans weinig verwarring ten opzichte van het model dat de tekst heeft gegenereerd, omdat het model altijd voortzettingen met een hoge waarschijnlijkheid kiest. Menselijk schrijven heeft een hogere, meer variabele verbijstering omdat mensen onverwachte maar samenhangende woordkeuzes maken.
Burstiness: het menselijke variantiesignaal
Menselijke schrijvers hanteren geen constant complexiteitsniveau. Ze wisselen af tussen eenvoudige, directe zinnen en complexe, ingebedde zinnen – wat onderzoekers ‘burstiness’ noemen. AI-tekst heeft de neiging om een vloeiend, consistent complexiteitsniveau te behouden over de paragrafen heen, wat statistisch ongebruikelijk is voor menselijk schrijven. Detectoren meten de variantie in zinscomplexiteit om een burstiness-score te produceren: een lage variantie duidt op AI-generatie.
N-gram frequentieanalyse
Bepaalde zinspatronen zijn zo sterk geassocieerd met AI-generatie dat hun aanwezigheid alleen al de bron met redelijke nauwkeurigheid voorspelt. Veel voorkomende voorbeelden zijn 'Het is de moeite waard om op te merken dat', 'Tot slot' en 'Het is belangrijk om'. N-gramdetectoren houden grote opzoektabellen bij van oververtegenwoordigde zinnen en scoren tekst op basis van hun dichtheid. Deze detectoren zijn snel maar broos; ze falen in vergelijking met modellen die zijn getraind nadat de opzoektabel is gebouwd.
Detectie van tokenwaarschijnlijkheidswatermerken
Wanneer een model een deterministisch watermerkschema zoals SynthID gebruikt, heeft de detector toegang tot dezelfde geheime sleutel die tijdens het genereren wordt gebruikt. Het telt elk token opnieuw op de groene lijst en telt het aantal tokens op de groene lijst op. Een score die aanzienlijk boven het verwachte kansniveau ligt, vormt een positieve detectie. Dit is veel betrouwbaarder dan het scoren van perplexiteit, maar werkt alleen voor modellen met een watermerk waarvan de sleutel in de detector zit.
Stylometrische featuremodellen
Deep-learning-detectoren extraheren tientallen stylometrische kenmerken – gemiddelde zinslengte, interpunctiedichtheid, woordenschatrijkdom, passieve stemverhouding – en geven ze door aan een classificator die is getraind op grote corpora van menselijke en AI-tekst. Deze modellen generaliseren beter dan n-gramlijsten, maar hebben last van een distributieverschuiving: ze classificeren tekst uit nieuwe AI-modellen die na training zijn vrijgegeven verkeerd.
Waarom het opschonen van artefacten op karakterniveau de detectorscores verbetert
Verschillende AI-detectoren gebruiken de aanwezigheid van onzichtbare Unicode-tekens als een sterk positief signaal voor door AI gegenereerde tekst, omdat legitieme menselijke tekst bijna nooit spaties met een breedte van nul of byte-ordermarkeringen halverwege de zin bevat. Als u deze tekens verwijdert, wordt een van de meest betrouwbare signalen geëlimineerd. Afzonderlijk vermindert het normaliseren van niet-afbrekende spaties en slimme interpunctie de overlap van n-gram met AI-trainingscorpora, waardoor de betrouwbaarheidsscore van de detector verder wordt verlaagd.