Meta huấn luyện các mô hình AI nhỏ bằng byte thô thay vì token

Các nhà nghiên cứu tại Meta đã huấn luyện các mô hình ngôn ngữ nhỏ 1 tỷ tham số để xử lý các byte thô thay vì token truyền thống thông qua phương pháp chưng cất tri thức từ một mô hình lớn hơn. Các dự báo về xu hướng mở rộng của họ cho thấy mặc dù các mô hình token hoạt động tốt hơn ở giai đoạn đầu, các mô hình cấp độ byte vẫn tiếp tục cải thiện và cuối cùng có thể vượt trội hơn các mô hình nhỏ hiện tại. Nghiên cứu này khám phá một sự thay đổi kiến trúc cơ bản có thể loại bỏ các điểm nghẽn về mã hóa token truyền thống và các định kiến ngôn ngữ trong các mô hình ngôn ngữ lớn. Việc bỏ qua các bộ tách token có thể giải quyết các vấn đề phổ biến như lỗi chính tả và đếm nhầm ký tự, đồng thời hỗ trợ các hệ thống chữ viết khác nhau một cách tự nhiên hơn. Các mô hình cấp độ byte yêu cầu lượng văn bản huấn luyện ít hơn khoảng sáu lần để đạt được mức tương đương, nhưng việc xử lý byte thô làm tăng đáng kể các bước tính toán vì một token thường kéo dài từ bốn đến năm ký tự. Hơn nữa, các dự báo hiệu suất vượt qua Llama và Gemma hiện chỉ là dự đoán lý thuyết dựa trên các đường xu hướng mở rộng chứ chưa phải là các đợt huấn luyện thực tế đã được kiểm chứng.