La métrique fondamentale : la perplexité
Un modèle de langage attribue une probabilité à chaque séquence de jetons. La perplexité est l'inverse de ces probabilités : un texte que le modèle trouve très prévisible – où la plupart des mots sont exactement ceux que le modèle aurait choisi – a une faible perplexité. Le texte généré par l’IA présente généralement une très faible perplexité par rapport au modèle qui l’a généré, car le modèle sélectionne toujours des continuations à forte probabilité. L’écriture humaine présente une perplexité plus élevée et plus variable parce que les humains font des choix de mots inattendus mais cohérents.
Burstiness : le signal de la variance humaine
Les écrivains humains ne maintiennent pas un niveau de complexité constant. Ils alternent entre des phrases simples et directes et des clauses complexes et intégrées – ce que les chercheurs appellent « l'éclatement ». Le texte de l’IA a tendance à maintenir un niveau de complexité fluide et cohérent d’un paragraphe à l’autre, ce qui est statistiquement inhabituel pour l’écriture humaine. Les détecteurs mesurent la variance dans la complexité des phrases pour produire un score de rafale : une faible variance suggère la génération d'une IA.
Analyse de fréquence N-gramme
Certains modèles de phrases sont si fortement associés à la génération de l’IA que leur seule présence prédit la source avec une précision raisonnable. Les exemples courants incluent « Il convient de noter cela », « En conclusion » et « Il est important de ». Les détecteurs N-gram maintiennent de grandes tables de recherche d'expressions surreprésentées et notent le texte en fonction de leur densité. Ces détecteurs sont rapides mais fragiles : ils échouent face aux modèles formés après la création de la table de recherche.
Détection de filigrane de probabilité de jeton
Lorsqu'un modèle utilise un schéma de filigrane déterministe tel que SynthID, le détecteur a accès à la même clé secrète utilisée lors de la génération. Il réévalue chaque jeton par rapport à la liste verte et additionne le nombre de jetons de la liste verte. Un score nettement supérieur au niveau de chance attendu constitue une détection positive. C'est beaucoup plus fiable que le score de perplexité mais ne fonctionne que pour les modèles filigranés dont le détecteur détient la clé.
Modèles de fonctionnalités stylométriques
Les détecteurs d'apprentissage profond extraient des dizaines de caractéristiques stylométriques (longueur moyenne des phrases, densité de ponctuation, richesse du vocabulaire, rapport voix passive) et les transmettent à un classificateur formé sur de grands corpus de textes humains et IA. Ces modèles généralisent mieux que les listes n-gram mais souffrent d'un changement de distribution : ils classent mal le texte des nouveaux modèles d'IA publiés après la formation.
Pourquoi le nettoyage des artefacts au niveau des personnages améliore les scores du détecteur
Plusieurs détecteurs d'IA utilisent la présence de caractères Unicode invisibles comme un signal positif fort pour le texte généré par l'IA, car le texte humain légitime ne contient presque jamais d'espaces de largeur nulle ou de marques d'ordre des octets au milieu d'une phrase. La suppression de ces caractères élimine l'un des signaux les plus fiables. Par ailleurs, la normalisation des espaces insécables et de la ponctuation intelligente réduit le chevauchement des n-grammes avec les corpus de formation à l'IA, réduisant ainsi encore le score de confiance du détecteur.