La metrica fondamentale: perplessità
Un modello linguistico assegna una probabilità a ogni sequenza di token. La perplessità è l’inverso di queste probabilità: un testo che il modello trova molto prevedibile – dove la maggior parte delle parole sono esattamente ciò che il modello avrebbe scelto – ha una bassa perplessità. Il testo generato dall'intelligenza artificiale presenta in genere una perplessità molto bassa rispetto al modello che lo ha generato, poiché il modello sceglie sempre continuazioni ad alta probabilità. La scrittura umana ha una perplessità più elevata e più variabile perché gli esseri umani fanno scelte di parole inaspettate ma coerenti.
Burstiness: il segnale della varianza umana
Gli scrittori umani non mantengono un livello di complessità costante. Si alternano tra frasi semplici e dirette e clausole complesse e incorporate, ciò che i ricercatori chiamano "burstiness". Il testo AI tende a mantenere un livello di complessità uniforme e coerente tra i paragrafi, cosa statisticamente insolita per la scrittura umana. I rilevatori misurano la varianza nella complessità della frase per produrre un punteggio di burstiness: una varianza bassa suggerisce la generazione di intelligenza artificiale.
Analisi della frequenza N-grammo
Alcuni modelli di frasi sono così fortemente associati alla generazione dell’intelligenza artificiale che la loro sola presenza ne predice la fonte con ragionevole precisione. Esempi comuni includono "Vale la pena notare che", "In conclusione" e "È importante". I rilevatori di N-grammi mantengono grandi tabelle di ricerca di frasi sovrarappresentate e assegnano punteggi al testo in base alla loro densità. Questi rilevatori sono veloci ma fragili: falliscono rispetto ai modelli addestrati dopo la creazione della tabella di ricerca.
Rilevamento della filigrana con probabilità token
Quando un modello utilizza uno schema di filigrana deterministico come SynthID, il rilevatore ha accesso alla stessa chiave segreta utilizzata durante la generazione. Rivaluta ogni token rispetto alla lista verde e somma il numero di token della lista verde. Un punteggio significativamente superiore al livello di probabilità atteso costituisce un rilevamento positivo. Questo è molto più affidabile del punteggio di perplessità, ma funziona solo per i modelli con filigrana di cui è conservata la chiave.
Modelli di elementi stilometrici
I rilevatori di deep learning estraggono dozzine di caratteristiche stilometriche – lunghezza media della frase, densità di punteggiatura, ricchezza di vocabolario, rapporto passivo-voce – e le passano attraverso un classificatore addestrato su grandi corpora di testi umani e di intelligenza artificiale. Questi modelli si generalizzano meglio degli elenchi di n-grammi, ma soffrono di un cambiamento distributivo: classificano erroneamente il testo dei nuovi modelli di intelligenza artificiale rilasciati dopo l'addestramento.
Perché la pulizia degli artefatti a livello di personaggio migliora i punteggi del rilevatore
Diversi rilevatori di intelligenza artificiale utilizzano la presenza di caratteri Unicode invisibili come un forte segnale positivo per il testo generato dall'intelligenza artificiale, perché il testo umano legittimo non contiene quasi mai spazi di larghezza zero o segni di ordine dei byte a metà frase. La rimozione di questi caratteri elimina uno dei segnali più affidabili. Separatamente, la normalizzazione degli spazi unificatori e la punteggiatura intelligente riducono la sovrapposizione di n-grammi con i corpora di formazione sull’intelligenza artificiale, abbassando ulteriormente il punteggio di confidenza del rilevatore.