Đánh giá độc lập so sánh các mô hình QAT Prism-ML Bonsai 2 trên Qwen 3.8
Byteshape đã xuất bản một đánh giá hiệu năng độc lập về các mô hình Bonsai 2 Quantization-Aware Training (QAT) mới của Prism-ML dựa trên Qwen 3.8. Đánh giá này kiểm thử các mô hình bằng bộ benchmark chuẩn hóa Instruct và Thinking của Byteshape để đưa ra so sánh nhất quán với các bản nén (quantization) tiêu chuẩn của Qwen 3.8. Các nhà cung cấp thường báo cáo điểm số benchmark bằng các khung đánh giá, runtime và tham số lấy mẫu khác nhau, khiến việc so sánh trực tiếp trở nên khó khăn. Phân tích độc lập này mang lại cho các nhà phát triển LLM cục bộ một so sánh trực quan, đáng tin cậy về sự đánh đổi giữa tốc độ xử lý (throughput), kích thước mô hình và chất lượng tạo văn bản của Bonsai 2. Bonsai 2 đạt khoảng 91.5% trên bộ benchmark tổng hợp của Byteshape trong khi vẫn duy trì sự cân bằng tốt giữa tốc độ và chất lượng. Các thử nghiệm đã sử dụng runtime riêng của Prism nhưng giữ nguyên tất cả khối lượng công việc đánh giá, thiết lập mức độ suy luận và tham số lấy mẫu giống như các đợt chạy Qwen 3.8 trước đó.
## KIẾN THỨC NỀN
Quantization-Aware Training (QAT - huấn luyện nhận biết định lượng) điều chỉnh các trọng số của mạng thần kinh trong quá trình huấn luyện để bảo tồn độ chính xác tốt hơn khi mô hình được nén sang các định dạng số bit cực thấp như biểu diễn 1-bit hoặc ternary (tam phân). Prism-ML chuyên xây dựng các mô hình Bonsai nén cực đại được thiết kế để chạy hiệu quả trên các thiết bị di động và phần cứng cục bộ.