Tessera-27B-B-CJK: Bản tinh chỉnh Qwen của Zellige AI dùng tốc ký để tiết kiệm token
Zellige AI đã phát hành Tessera-27B-B-CJK, một bản tinh chỉnh mã nguồn mở của mô hình Qwen được tối ưu hóa cho các vòng lặp tác vụ (agent loops) bằng cách sử dụng kiểu tốc ký CJK nén cho quá trình suy luận nội bộ. Trong khi quá trình suy nghĩ bên trong sử dụng kiểu tốc ký tiết kiệm token này, các đầu ra cuối cùng và lệnh gọi công cụ của mô hình vẫn giữ nguyên bằng tiếng Anh tiêu chuẩn và mã lập trình. Việc tối ưu hóa token trong các vòng lặp tác vụ nhiều lượt là một thách thức kỹ thuật quan trọng ảnh hưởng trực tiếp đến chi phí vận hành và độ trễ. Bằng cách giảm đáng kể lượng token suy nghĩ mà không làm giảm độ tin cậy của lệnh gọi công cụ, phương pháp này mang lại một hướng đi đầy hứa hẹn cho các hệ thống AI tự động hiệu quả hơn. Các đánh giá cho thấy Tessera sử dụng khoảng 0.50x đến 0.64x số token suy nghĩ so với mô hình cơ sở trong khi vẫn duy trì 100% lệnh gọi công cụ hợp lệ và không có vòng lặp lặp lại trên các tác vụ lập trình. Mô hình được huấn luyện thông qua quy trình LoRA 4 bước bao gồm SFT hạt giống với CJK nén, các bản vá chống lặp và kỹ thuật lấy mẫu từ chối.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn ở chế độ suy luận hoặc tác vụ thường tạo ra chuỗi suy nghĩ nội bộ trước khi đưa ra câu trả lời, điều này làm tăng đáng kể chi phí API và thời gian thực thi. Các ký tự CJK (Trung-Nhật-Hàn) mang lại mật độ ngữ nghĩa cao trên mỗi token, giúp các dạng tốc ký đa ngôn ngữ nén trở thành một cách hiệu quả để giảm tổng số token trong quá trình suy luận của mô hình.