~/LLM/huawei-csl-releases-qwen-based-macaq-gguf-model-on-hugging-face

Huawei CSL Phát Hành Mô Hình Qwen-based MACaQ GGUF Trên Hugging Face

Một bản lượng tử hóa GGUF của mô hình MACaQ do Huawei CSL phát triển, dựa trên kiến trúc Qwen, đã được phát hành trên Hugging Face. Bản phát hành này cho phép những người đam mê và nhà nghiên cứu chạy mô hình cục bộ bằng các công cụ suy luận phổ biến. Bản phát hành này cung cấp cho cộng đồng LLM chạy cục bộ quyền tiếp cận một mô hình nghiên cứu đáng chú ý từ Huawei CSL, được tối ưu hóa để chạy hiệu quả trên phần cứng phổ thông. Nó mở rộng thêm các lựa chọn trọng số mở sẵn có cho việc triển khai và thử nghiệm cục bộ. Mô hình có tên định danh là Qwen3.6-35B-A3B-MACaQ-R-GGUF, dựa trên kiến trúc 35 tỷ tham số và được đóng gói ở định dạng GGUF. Các tài nguyên đi kèm bao gồm bài báo nghiên cứu trên arXiv và kho lưu trữ GitHub chính thức cho MACaQ.

## KIẾN THỨC NỀN

GGUF là định dạng tệp phổ biến do nhóm llama.cpp thiết kế nhằm lưu trữ trọng số và siêu dữ liệu của mô hình để thực thi hiệu quả các mô hình ngôn ngữ lớn ở máy cục bộ. MACaQ là viết tắt của Model Agnostic Calibrated Quantization, một khuôn khổ lượng tử hóa do các phòng thí nghiệm Điện toán và Phần mềm Huawei phát triển.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#GGUF#Open Source AI#Model Quantization

$ subscribe --daily