Основна метрика: перплексія
Мовна модель призначає ймовірність кожній послідовності токенів. Перплексія є зворотним фактором цих ймовірностей: текст, який модель вважає дуже передбачуваним (де більшість слів є саме тими, які вибрала б модель), має низький рівень перплексія. Згенерований штучним інтелектом текст, як правило, має дуже низьку складність порівняно з моделлю, яка його згенерувала, оскільки модель завжди вибирає продовження з високою ймовірністю. Людське письмо викликає вищу, більш різноманітну плутанину, оскільки люди роблять несподіваний, але послідовний вибір слів.
Вибух: сигнал дисперсії людини
Людські автори не підтримують постійний рівень складності. Вони чергуються між простими, прямими реченнями та складними, вбудованими реченнями — те, що дослідники називають «вибухом». ШІ-текст має тенденцію підтримувати рівномірний, послідовний рівень складності в абзацах, що статистично незвично для людського письма. Детектори вимірюють дисперсію складності речень, щоб отримати оцінку бурхливості: низька дисперсія свідчить про створення ШІ.
N-грам частотний аналіз
Певні шаблони фраз настільки сильно пов’язані з генеруванням штучного інтелекту, що сама по собі їх наявність передбачає джерело з достатньою точністю. Загальні приклади: «Варто зазначити, що», «На завершення» та «Важливо». Детектори N-грамів підтримують великі таблиці пошуку надмірно представлених фраз і оцінюють текст на основі їх щільності. Ці детектори швидкі, але крихкі — вони не справляються з моделями, навченими після створення таблиці пошуку.
Виявлення ймовірності маркера
Коли модель використовує детерміновану схему водяних знаків, наприклад SynthID, детектор має доступ до того самого секретного ключа, який використовувався під час генерації. Він повторно порівнює кожен маркер із зеленим списком і підсумовує кількість жетонів із зеленого списку. Оцінка, яка значно перевищує очікуваний рівень шансів, означає позитивне виявлення. Це набагато надійніше, ніж оцінка перплексія, але працює лише для моделей із водяними знаками, ключ яких містить детектор.
Моделі стилометричних ознак
Детектори глибокого навчання виділяють десятки стилометричних ознак — середню довжину речень, щільність пунктуації, багатство словника, співвідношення пасивного голосу — і пропускають їх через класифікатор, навчений на великих корпусах тексту людини та ШІ. Ці моделі узагальнюють краще, ніж n-грамові списки, але страждають від зсуву розподілу: вони неправильно класифікують текст із нових моделей ШІ, випущених після навчання.
Чому очищення артефактів на рівні персонажа покращує результати детектора
Кілька детекторів штучного інтелекту використовують наявність невидимих символів Unicode як сильний позитивний сигнал для тексту, створеного штучним інтелектом, оскільки законний людський текст майже ніколи не містить пробілів нульової ширини або позначок порядку байтів у середині речення. Видалення цих символів усуває один із найнадійніших сигналів. Окремо нормалізація нерозривних пробілів і інтелектуальна пунктуація зменшують накладення n-грамів із навчальними корпусами штучного інтелекту, що ще більше знижує показник надійності детектора.