Thử nghiệm so sánh cho thấy Qwen Flash Next định dạng IQ4_XS vượt trội hơn Qwen 27B FP8 về độ chính xác
Một bài đánh giá trong cộng đồng đã so sánh Qwen 3.8 Flash Next IQ4_XS với Qwen 3.8 27B FP8 trên nhiều bộ kiểm thử tiêu chuẩn, bao gồm MMLU-Pro và GPQA Diamond. Mô hình Flash Next ở định dạng lượng hóa bit thấp hơn đã vượt trội đáng kể về độ chính xác so với Qwen 27B FP8, đạt 83.8% so với 75.0% trên MMLU-Pro và 42.5% so với 27.5% trên GPQA Diamond. Kết quả thử nghiệm này thách thức quan niệm phổ biến trong cộng đồng chạy LLM cục bộ rằng các mô hình lớn hơn ở độ chính xác FP8 luôn hoạt động tốt hơn các phiên bản lượng hóa sâu của các mô hình phân cấp cao hơn. Điều này cho thấy người dùng cá nhân ưu tiên chất lượng phản hồi hơn tốc độ tạo ra văn bản có thể thu được kết quả tốt hơn từ các mô hình hàng đầu bị lượng hóa sâu trên phần cứng cá nhân. Mặc dù đạt độ chính xác cao hơn, Flash Next IQ4_XS mất 2 giờ 5 phút để hoàn thành bộ kiểm thử so với chỉ 36 phút của Qwen 27B FP8 trên cấu hình gồm 64 GB RAM DDR5 và 2 GPU R9700. Người thử nghiệm lưu ý rằng dù IQ4_XS được ưu tiên cho chất lượng xử lý của người dùng đơn lẻ, FP8 lại mang đến tốc độ và khả năng xử lý đồng thời nhanh hơn khoảng 4 lần cho các tác vụ nhiều người dùng.
## KIẾN THỨC NỀN
Lượng hóa mô hình (quantization) giảm bớt yêu cầu bộ nhớ và chi phí tính toán bằng cách chuyển đổi các tham số trọng số của LLM từ định dạng dấu phẩy động độ chính xác cao (như FP16 hoặc FP8) sang dạng biểu diễn bit thấp hơn như 4-bit (như IQ4_XS hoặc MXFP4). Mặc dù lượng hóa bit thấp giúp giảm rào cản VRAM để chạy các mô hình mạnh mẽ trên máy tính cá nhân, nó có thể làm chậm tốc độ sinh dữ liệu hoặc giảm độ chính xác tùy thuộc vào sự hỗ trợ của phần cứng và kiến trúc mô hình.