La métrica fundamental: la perplejidad
Un modelo de lenguaje asigna una probabilidad a cada secuencia de tokens. La perplejidad es lo opuesto a esas probabilidades: un texto que el modelo considera muy predecible (donde la mayoría de las palabras son exactamente las que el modelo habría elegido) tiene poca perplejidad. El texto generado por IA normalmente tiene muy poca perplejidad frente al modelo que lo generó, porque el modelo siempre elige continuaciones de alta probabilidad. La escritura humana tiene una perplejidad mayor y más variable porque los humanos eligen palabras inesperadas pero coherentes.
Burstiness: la señal de variación humana
Los escritores humanos no mantienen un nivel de complejidad constante. Alternan entre oraciones simples y directas y cláusulas complejas e integradas, lo que los investigadores llaman "explosión". El texto de IA tiende a mantener un nivel de complejidad fluido y consistente en todos los párrafos, lo cual es estadísticamente inusual para la escritura humana. Los detectores miden la variación en la complejidad de las oraciones para producir una puntuación de ráfaga: una variación baja sugiere generación de IA.
Análisis de frecuencia de N-gramas
Ciertos patrones de frases están tan fuertemente asociados con la generación de IA que su sola presencia predice la fuente con una precisión razonable. Los ejemplos comunes incluyen "Vale la pena señalar que", "En conclusión" y "Es importante". Los detectores de N-gramas mantienen grandes tablas de búsqueda de frases sobrerrepresentadas y califican el texto según su densidad. Estos detectores son rápidos pero frágiles: fallan contra modelos entrenados después de que se construyó la tabla de búsqueda.
Detección de marca de agua de probabilidad de token
Cuando un modelo utiliza un esquema de marca de agua determinista como SynthID, el detector tiene acceso a la misma clave secreta utilizada durante la generación. Vuelve a puntuar cada token según la lista verde y suma el número de tokens de la lista verde. Una puntuación significativamente superior al nivel de probabilidad esperado constituye una detección positiva. Esto es mucho más confiable que la puntuación de perplejidad, pero solo funciona para modelos con marca de agua cuya clave contiene el detector.
Modelos de rasgos estilométricos
Los detectores de aprendizaje profundo extraen docenas de características estilométricas (longitud promedio de oración, densidad de puntuación, riqueza de vocabulario, proporción de voz pasiva) y las pasan a través de un clasificador entrenado en grandes corpus de texto humano y de IA. Estos modelos se generalizan mejor que las listas de n-gramas, pero sufren un cambio distributivo: clasifican erróneamente el texto de los nuevos modelos de IA lanzados después del entrenamiento.
Por qué limpiar artefactos a nivel de personaje mejora las puntuaciones de los detectores
Varios detectores de IA utilizan la presencia de caracteres Unicode invisibles como una fuerte señal positiva para el texto generado por IA, porque el texto humano legítimo casi nunca contiene espacios de ancho cero o marcas de orden de bytes a mitad de la oración. Eliminar estos caracteres elimina una de las señales más confiables. Por otra parte, la normalización de los espacios sin separación y la puntuación inteligente reduce la superposición de n-gramas con los corpus de entrenamiento de IA, lo que reduce aún más la puntuación de confianza del detector.