Số liệu cơ bản: sự bối rối
Một mô hình ngôn ngữ gán xác suất cho mỗi chuỗi mã thông báo. Sự bối rối là nghịch đảo của những xác suất đó: một văn bản mà mô hình thấy rất dễ đoán - trong đó hầu hết các từ đều chính xác như những gì mô hình sẽ chọn - có độ phức tạp thấp. Văn bản do AI tạo thường có độ phức tạp rất thấp so với mô hình đã tạo ra nó, bởi vì mô hình này luôn chọn các phần tiếp theo có xác suất cao. Chữ viết của con người có mức độ phức tạp cao hơn, đa dạng hơn vì con người đưa ra những lựa chọn từ ngữ bất ngờ nhưng mạch lạc.
Sự bùng nổ: tín hiệu phương sai của con người
Nhà văn con người không duy trì mức độ phức tạp liên tục. Chúng xen kẽ giữa các câu đơn giản, trực tiếp và các mệnh đề phức tạp, gắn liền - điều mà các nhà nghiên cứu gọi là 'sự bùng nổ'. Văn bản AI có xu hướng duy trì mức độ phức tạp mượt mà, nhất quán trên các đoạn văn, điều này không bình thường về mặt thống kê đối với văn bản của con người. Trình phát hiện đo lường sự khác biệt về độ phức tạp của câu để tạo ra điểm số liên tục: phương sai thấp cho thấy việc tạo ra AI.
Phân tích tần số N-gram
Một số mẫu cụm từ nhất định có liên quan chặt chẽ đến việc tạo ra AI đến mức chỉ riêng sự hiện diện của chúng cũng có thể dự đoán nguồn với độ chính xác hợp lý. Các ví dụ phổ biến bao gồm 'Điều đáng lưu ý là', 'Kết luận lại' và 'Điều quan trọng là'. Trình phát hiện N-gram duy trì các bảng tra cứu lớn gồm các cụm từ được biểu thị quá mức và cho điểm văn bản dựa trên mật độ của chúng. Những trình phát hiện này nhanh nhưng dễ vỡ — chúng thất bại trước các mô hình được huấn luyện sau khi bảng tra cứu được xây dựng.
Phát hiện hình mờ xác suất mã thông báo
Khi một mô hình sử dụng sơ đồ hình mờ xác định như SynthID, bộ dò có quyền truy cập vào cùng một khóa bí mật được sử dụng trong quá trình tạo. Nó chấm điểm lại mọi mã thông báo theo danh sách xanh và tính tổng số mã thông báo danh sách xanh. Điểm cao hơn đáng kể so với mức cơ hội dự kiến sẽ tạo thành một phát hiện tích cực. Điều này đáng tin cậy hơn nhiều so với việc tính điểm phức tạp nhưng chỉ hoạt động đối với các mô hình có hình chìm mờ mà bộ phát hiện giữ chìa khóa.
Mô hình tính năng đo kiểu dáng
Các trình phát hiện học sâu trích xuất hàng chục đặc điểm đo kiểu dáng — độ dài câu trung bình, mật độ dấu câu, độ phong phú từ vựng, tỷ lệ giọng nói thụ động — và chuyển chúng qua một bộ phân loại được đào tạo trên một lượng lớn văn bản con người và AI. Các mô hình này khái quát hóa tốt hơn danh sách n-gram nhưng gặp phải sự thay đổi về phân phối: chúng phân loại sai văn bản từ các mô hình AI mới được phát hành sau quá trình đào tạo.
Tại sao việc làm sạch các đồ tạo tác ở cấp độ ký tự lại cải thiện điểm số của máy dò
Một số trình phát hiện AI sử dụng sự hiện diện của các ký tự Unicode vô hình làm tín hiệu tích cực mạnh mẽ cho văn bản do AI tạo ra, bởi vì văn bản hợp pháp của con người hầu như không bao giờ chứa khoảng trắng có độ rộng bằng 0 hoặc dấu thứ tự byte ở giữa câu. Việc loại bỏ các ký tự này sẽ loại bỏ một trong những tín hiệu đáng tin cậy nhất. Riêng biệt, việc bình thường hóa các khoảng trắng không ngắt quãng và dấu câu thông minh sẽ làm giảm sự trùng lặp n-gram với tập hợp đào tạo AI, càng làm giảm điểm tin cậy của máy dò.