Die grundlegende Metrik: Perplexität
Ein Sprachmodell weist jeder Folge von Token eine Wahrscheinlichkeit zu. Perplexität ist das Gegenteil dieser Wahrscheinlichkeiten: Ein Text, den das Modell für sehr vorhersehbar hält – bei dem die meisten Wörter genau das sind, was das Modell ausgewählt hätte – weist eine geringe Perplexität auf. KI-generierter Text weist im Vergleich zum Modell, das ihn generiert hat, in der Regel eine sehr geringe Verwirrung auf, da das Modell immer Fortsetzungen mit hoher Wahrscheinlichkeit auswählt. Menschliches Schreiben weist eine höhere, variablere Verwirrung auf, weil Menschen unerwartete, aber kohärente Wortwahlen treffen.
Burstiness: das menschliche Varianzsignal
Menschliche Autoren halten kein konstantes Komplexitätsniveau aufrecht. Sie wechseln zwischen einfachen, direkten Sätzen und komplexen, eingebetteten Sätzen – was Forscher „Burstiness“ nennen. KI-Texte tendieren dazu, über alle Absätze hinweg ein gleichmäßiges, einheitliches Komplexitätsniveau beizubehalten, was für menschliches Schreiben statistisch gesehen ungewöhnlich ist. Detektoren messen die Varianz der Satzkomplexität, um einen Burstiness-Score zu erstellen: Eine niedrige Varianz deutet auf eine KI-Generierung hin.
N-Gramm-Frequenzanalyse
Bestimmte Phrasenmuster sind so stark mit der KI-Generierung verbunden, dass allein ihre Anwesenheit die Quelle mit angemessener Genauigkeit vorhersagen kann. Gängige Beispiele sind „Es ist erwähnenswert“, „Abschließend“ und „Es ist wichtig zu“. N-Gramm-Detektoren verwalten große Nachschlagetabellen mit überrepräsentierten Phrasen und bewerten Text anhand ihrer Dichte. Diese Detektoren sind schnell, aber spröde – sie versagen bei Modellen, die nach der Erstellung der Nachschlagetabelle trainiert wurden.
Erkennung von Token-Wahrscheinlichkeits-Wasserzeichen
Wenn ein Modell ein deterministisches Wasserzeichenschema wie SynthID verwendet, hat der Detektor Zugriff auf denselben geheimen Schlüssel, der bei der Generierung verwendet wurde. Es vergleicht jeden Token erneut mit der grünen Liste und summiert die Anzahl der Token auf der grünen Liste. Eine deutlich über dem erwarteten Wahrscheinlichkeitsniveau liegende Punktzahl stellt eine positive Erkennung dar. Dies ist viel zuverlässiger als die Perplexitätsbewertung, funktioniert aber nur für Modelle mit Wasserzeichen, deren Schlüssel der Detektor enthält.
Stilometrische Merkmalsmodelle
Deep-Learning-Detektoren extrahieren Dutzende stilometrischer Merkmale – durchschnittliche Satzlänge, Interpunktionsdichte, Wortschatzreichtum, Passiv-Sprachverhältnis – und leiten sie durch einen Klassifikator, der auf großen Korpora von menschlichem und KI-Text trainiert ist. Diese Modelle lassen sich besser verallgemeinern als N-Gramm-Listen, leiden jedoch unter einer Verteilungsverschiebung: Sie klassifizieren Text aus neuen KI-Modellen, die nach dem Training veröffentlicht wurden, falsch.
Warum die Reinigung von Artefakten auf Zeichenebene die Detektorergebnisse verbessert
Mehrere KI-Detektoren nutzen das Vorhandensein unsichtbarer Unicode-Zeichen als starkes positives Signal für KI-generierten Text, da legitimer menschlicher Text fast nie Leerzeichen mit der Breite Null oder Byte-Reihenfolge-Markierungen mitten im Satz enthält. Durch das Entfernen dieser Zeichen wird eines der zuverlässigsten Signale eliminiert. Unabhängig davon wird durch die Normalisierung geschützter Leerzeichen und intelligenter Interpunktion die N-Gramm-Überlappung mit KI-Trainingskorpora reduziert, was den Konfidenzwert des Detektors weiter senkt.