Người dùng Reddit phát hiện AtomicChat có thể dán nhãn sai bản lượng hóa mô hình GGUF
Một người dùng Reddit đã phát hiện bản lượng hóa GGUF mô hình Qwen3.8-Flash-Next của AtomicChat dán nhãn Q4_K_M thực chất lại chứa các tensor và metadata chuẩn IQ2_S. Việc dán nhãn sai này khiến một bản lượng hóa độ chính xác thấp IQ2_S được mạo danh thành chuẩn Q4_K_M nhằm thổi phồng khả năng tiết kiệm bộ nhớ và tốc độ chạy. Phát hiện này làm nổi bật những rủi ro về tính minh bạch và độ tin cậy đối với các mô hình AI mã nguồn mở được chia sẻ trên Hugging Face. Đây là cảnh báo quan trọng giúp cộng đồng LLM cục bộ chủ động tự kiểm tra metadata mô hình thay vì tin tưởng hoàn toàn vào tiêu đề và các chỉ số benchmark được mô tả. Người dùng nhận thấy tệp mô hình nhỏ một cách bất thường (chỉ khoảng 56GB khi bỏ bảng ngram) và hiển thị chỉ số Phân kỳ Kullback-Leibler (KLD) cao bất thường là 0,084 trên trang mô hình. Kiểm tra kỹ thuật xác nhận phần lớn các tensor bên trong tệp GGUF cũng như metadata loại tệp đều ghi rõ chuẩn IQ2_S thay vì các thành phần Q4_K thông thường.
## KIẾN THỨC NỀN
Lượng hóa (Quantization) là kỹ thuật nén mô hình ngôn ngữ lớn (LLM) bằng cách giảm độ chính xác của trọng số xuống độ rộng bit thấp hơn, như 4-bit (Q4_K_M) hoặc 2-bit (IQ2_S). Chuẩn Q4_K_M được sử dụng phổ biến vì duy trì sự cân bằng giữa việc tiết kiệm VRAM và giữ chất lượng đầu ra cao, trong khi chuẩn 2-bit như IQ2_S thu nhỏ dung lượng tối đa nhưng làm giảm độ chính xác. Chỉ số Phân kỳ Kullback-Leibler (KLD) đo lường mức độ mất mát thông tin khi lượng hóa so với mô hình gốc, trong đó chỉ số KLD càng cao phản ánh sự suy giảm chất lượng càng lớn.