Các loại hình mờ AI: Phân loại hoàn chỉnh

Loại 1 - Ký tự Unicode có độ rộng bằng 0

Loại phổ biến nhất trong các ứng dụng web AI hiện nay. Đây là các điểm mã Unicode không có hình tượng rõ ràng và độ rộng tăng dần bằng 0: con trỏ di chuyển sang phải chính xác bằng 0 pixel. Chúng tồn tại khi sao chép-dán từ trình duyệt sang tài liệu mà không có bất kỳ dấu vết trực quan nào. Các ví dụ phổ biến bao gồm:

U+200B — Không gian có chiều rộng bằng 0

Ký tự hình mờ AI phổ biến nhất. Được chèn vào giữa các từ hoặc chữ cái.

U+200C — Không nối có chiều rộng bằng 0

Hợp pháp bằng văn bản tiếng Ả Rập/tiếng Farsi để loại bỏ chữ ghép. Bất thường trong các tài liệu chữ viết Latinh.

U+200D — Công cụ nối có chiều rộng bằng 0

Được sử dụng trong chuỗi biểu tượng cảm xúc. Trình bày bằng văn bản thuần túy không có biểu tượng cảm xúc, nó luôn là một đồ tạo tác.

U+2060 — Trình nối từ

Về mặt chức năng tương đương với một không gian không ngắt có độ rộng bằng 0. Đôi khi được thay thế cho U+200B trong các mẫu mới hơn.

U+FEFF — Dấu thứ tự byte

BOM UTF-8. Chỉ hợp lệ khi bắt đầu tập tin; vị trí ở giữa văn bản luôn là một thành phần chèn vào.

Loại 2 - Thay thế dấu câu

Các mô hình AI được đào tạo về văn bản phong phú về mặt kiểu chữ và mặc định sử dụng dấu ngoặc kép cong ('thông minh') và dấu gạch ngang thay vì các ký tự tương đương ASCII của chúng. Mặc dù đây là những mã Unicode hợp lệ và không gây ra lỗi mã hóa nhưng chúng không phù hợp trong các trường mã, API, cơ sở dữ liệu và CMS yêu cầu dấu câu ASCII thẳng. Claude đặc biệt gắn liền với sự thay thế em-dash.

U+2013 En gạch ngang / U+2014 Em gạch ngang

Được sử dụng thay cho dấu gạch nối ASCII đơn giản. Một công cụ dự đoán đáng tin cậy về quyền tác giả của Claude và GPT-4 trong bộ huấn luyện máy dò.

U+00AD — Dấu gạch ngang mềm

Vô hình trong hiển thị thông thường, hiển thị ở ngắt dòng. Được sử dụng làm điểm đánh dấu vị trí, không phải dấu gạch nối thực sự.

U+2018–U+201D — Dấu ngoặc kép

Đúng về mặt đánh máy nhưng làm hỏng các truy vấn SQL, chuỗi JSON và nhiều công cụ CLI yêu cầu dấu ngoặc kép thẳng.

Loại 3 - Không gian không bị phá vỡ và đặc biệt

Một số ký tự khoảng trắng bên ngoài U+0020 xuất hiện trong văn bản AI. Các khoảng trắng không ngắt (U+00A0) ngăn chặn ngắt dòng và gây ra các vấn đề về bố cục trong HTML đáp ứng. Khoảng trắng không ngắt hẹp (U+202F) xuất hiện xung quanh dấu câu nhất định trong các mô hình ngôn ngữ tiếng Pháp. Không gian chữ tượng hình (U+3000) xuất hiện trong đầu ra của mô hình CJK trộn lẫn với văn bản phương Tây. Tất cả đều vô hại về mặt ngữ nghĩa nhưng lại gây rối trong bối cảnh có cấu trúc.

Loại 4 - Dấu vân tay thuộc tính dữ liệu và HTML

Khi bạn xuất hoặc sao chép từ giao diện web của ChatGPT, trọng tải clipboard bao gồm các thẻ HTML với các thuộc tính dữ liệu độc quyền: data-message-id, data-start, data-end và data-scroll-id. Các thuộc tính này xác định duy nhất cuộc hội thoại và vị trí của từng mã thông báo trong đó. Việc dán vào trình soạn thảo văn bản đa dạng thức hoặc CMS chấp nhận đầu vào HTML sẽ âm thầm nhúng các dấu vân tay này vào mã nguồn tài liệu của bạn.

Loại 5 - Hình mờ xác suất mã thông báo thống kê

Được triển khai ở cấp độ mô hình, hình mờ thống kê hoạt động bằng cách phân chia từ vựng của mô hình thành 'danh sách xanh' và 'danh sách đỏ' ở mỗi bước tạo. Nhật ký của mô hình được chuyển sang ưu tiên các mã thông báo danh sách xanh. Độ lệch đủ nhỏ để chất lượng đầu ra không bị ảnh hưởng, nhưng trên toàn bộ tài liệu, dư thừa mã thông báo xanh có thể được phát hiện theo thống kê với độ tin cậy cao. Google SynthID cho văn bản sử dụng phương pháp này. Không có máy quét ký tự nào có thể phát hiện hoặc loại bỏ các hình mờ này.

Loại 6 - Hình mờ kháng ngữ nghĩa và diễn giải

Các nguyên mẫu nghiên cứu nhúng hình mờ bằng cách chọn giữa các từ đồng nghĩa hoặc cấu trúc lại câu để giữ nguyên ý nghĩa nhưng mang một chút ẩn ý. Bởi vì hình mờ nằm ​​ở dạng ngữ nghĩa chứ không phải ở dạng bề mặt nên nó vẫn tồn tại trong quá trình diễn giải. Những hình mờ này chưa được triển khai trong các sản phẩm AI dành cho người tiêu dùng nhưng là đối tượng của các nỗ lực tiêu chuẩn hóa tích cực theo các điều khoản minh bạch về xuất xứ của Đạo luật AI của EU.