A métrica fundamental: perplexidade
Um modelo de linguagem atribui uma probabilidade a cada sequência de tokens. A perplexidade é o inverso dessas probabilidades: um texto que o modelo considera muito previsível – onde a maioria das palavras são exatamente o que o modelo teria escolhido – tem baixa perplexidade. O texto gerado por IA normalmente apresenta perplexidade muito baixa em relação ao modelo que o gerou, porque o modelo sempre escolhe continuações de alta probabilidade. A escrita humana tem uma perplexidade maior e mais variável porque os humanos fazem escolhas de palavras inesperadas, mas coerentes.
Explosão: o sinal de variação humana
Os escritores humanos não mantêm um nível de complexidade constante. Eles alternam entre sentenças simples e diretas e orações complexas e incorporadas – o que os pesquisadores chamam de “explosão”. O texto AI tende a manter um nível de complexidade suave e consistente entre os parágrafos, o que é estatisticamente incomum para a escrita humana. Os detectores medem a variação na complexidade da frase para produzir uma pontuação de explosão: a baixa variação sugere geração de IA.
Análise de frequência de N-gramas
Certos padrões de frases estão tão fortemente associados à geração de IA que a sua presença por si só prevê a fonte com razoável precisão. Exemplos comuns incluem 'Vale a pena notar que', 'Em conclusão' e 'É importante'. Os detectores de N-gramas mantêm grandes tabelas de pesquisa de frases sobre-representadas e pontuam o texto com base em sua densidade. Esses detectores são rápidos, mas frágeis – eles falham em modelos treinados após a construção da tabela de consulta.
Detecção de marca d'água de probabilidade de token
Quando um modelo usa um esquema determinístico de marca d'água como SynthID, o detector tem acesso à mesma chave secreta usada durante a geração. Ele reavalia cada token em relação à lista verde e soma o número de tokens da lista verde. Uma pontuação significativamente acima do nível de probabilidade esperado constitui uma detecção positiva. Isto é muito mais confiável do que a pontuação de perplexidade, mas só funciona para modelos com marca d'água cuja chave o detector contém.
Modelos de características estilométricas
Os detectores de aprendizagem profunda extraem dezenas de características estilométricas – comprimento médio das frases, densidade de pontuação, riqueza de vocabulário, proporção de voz passiva – e os passam por um classificador treinado em grandes corpora de texto humano e de IA. Esses modelos generalizam melhor do que listas de n-gramas, mas sofrem mudanças na distribuição: eles classificam incorretamente o texto de novos modelos de IA lançados após o treinamento.
Por que a limpeza de artefatos no nível do personagem melhora as pontuações do detector
Vários detectores de IA usam a presença de caracteres Unicode invisíveis como um forte sinal positivo para texto gerado por IA, porque o texto humano legítimo quase nunca contém espaços de largura zero ou marcas de ordem de bytes no meio da frase. A remoção desses caracteres elimina um dos sinais mais confiáveis. Separadamente, a normalização de espaços ininterruptos e a pontuação inteligente reduz a sobreposição de n-gramas com corpora de treinamento de IA, reduzindo ainda mais a pontuação de confiança do detector.