Phát hành thang lượng tử hóa và hướng dẫn GGUF cho mô hình Nanbeige4.3-33B
Một thang lượng tử hóa mới và hướng dẫn khuyến nghị phần cứng đã được công bố cho mô hình Nanbeige4.3-33B định dạng GGUF, với kích thước tệp dao động từ 35.2GB xuống còn 13.7GB. Bản phát hành này cung cấp cho các kỹ sư AI cục bộ các tùy chọn tối ưu hóa cụ thể để chạy mô hình 33B tham số này một cách hiệu quả trên các giới hạn phần cứng khác nhau. Điều này giúp người dùng mô hình ngôn ngữ lớn cục bộ xác định sự cân bằng tốt nhất giữa độ chính xác của mô hình và mức tiêu thụ bộ nhớ trên phần cứng phổ thông. Cụ thể, hướng dẫn xác định các cấu hình tối ưu như biến thể AD-IQ4_XS 20.3GB dành cho các hệ thống phần cứng 32GB. Hướng dẫn nhấn mạnh rằng đối với phần cứng RAM 32GB, điểm tối ưu là biến thể AD-IQ4_XS 20.3GB, duy trì độ chính xác top-1% đạt 92.0% so với bản gốc BF16 không lượng tử hóa. Bản thân mô hình Nanbeige4.3-33B sở hữu cửa sổ ngữ cảnh khổng lồ 524.288 token và các khả năng suy luận được bật sẵn theo mặc định.
## KIẾN THỨC NỀN
GGUF là định dạng tệp do dự án llama.cpp thiết kế nhằm suy luận LLM hiệu quả trên CPU và Apple Silicon, hỗ trợ tùy chọn giảm tải cho GPU. Lượng tử hóa làm giảm độ chính xác của các trọng số mô hình nhằm tiết kiệm bộ nhớ và tăng tốc độ suy luận, nhưng thường đánh đổi một phần nhỏ độ chính xác.