Chi phí sử dụng mô hình AI biến động lớn giữa các ngôn ngữ do chênh lệch Token
Nghiên cứu mới đây tiết lộ rằng các mô hình AI tiêu thụ lượng token chênh lệch rất lớn tùy thuộc vào ngôn ngữ được sử dụng, tạo ra khoảng cách chi phí ẩn lên tới 17 lần giữa các ngôn ngữ có nhiều tài nguyên và ít tài nguyên. Sự chênh lệch này áp đặt một khoản 'thuế bộ tách từ' (tokenizer tax) ẩn lên người dùng các ngôn ngữ không phải tiếng Anh hoặc ít tài nguyên, dẫn đến chi phí cao hơn, thời gian phản hồi chậm hơn và dung lượng cửa sổ ngữ cảnh bị hạn chế, gây cản trở sự tham gia công bằng vào nền kinh tế AI. Nghiên cứu phát hiện ra rằng mức tiêu thụ token có thể chênh lệch từ 1,5 đến 5 lần ngay cả trong số 20 ngôn ngữ phổ biến nhất trên internet, và khoảng cách này giãn rộng tới 17 lần trên phạm vi 200 ngôn ngữ tùy thuộc vào mô hình và hệ chữ viết được sử dụng.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn (LLM) chia nhỏ văn bản thành các đơn vị nhỏ hơn gọi là token bằng cách sử dụng bộ tách từ (tokenizer) trước khi xử lý chúng. Do các bộ tách từ thường được tối ưu hóa cho các ngôn ngữ giàu dữ liệu như tiếng Anh, chúng chia các ngôn ngữ ít tài nguyên hơn thành số lượng mảnh vụn lớn hơn nhiều, làm lãng phí tài nguyên và tăng chi phí.