bartowski Phát Hành Định Dạng GGUF Cho Mô Hình MoE Xing4.0-29B-A4B
Phiên bản lượng tử hóa GGUF của mô hình Xing4.0-29B-A4B vừa được nhà phát triển cộng đồng bartowski phát hành, giúp mô hình Mixture of Experts với 29 tỷ tham số này có thể chạy suy luận cục bộ. Mô hình gốc do China Telecom phát triển có 4 tỷ tham số hoạt động cho mỗi token và ban đầu được huấn luyện trên nền tảng NPU Ascend của Huawei. Bản phát hành này cho phép những người đam mê LLM cục bộ và các nhà phát triển chạy một mô hình MoE mã nguồn mở tiên tiến trên phần cứng cá nhân hoặc thiết bị biên thông qua các runtime tương thích với GGUF. Nó giúp thu hẹp khoảng cách giữa hệ sinh thái huấn luyện phần cứng cấp độ doanh nghiệp và quy trình triển khai cục bộ dễ tiếp cận. Mô hình Xing4.0-29B-A4B hỗ trợ nguyên bản độ dài ngữ cảnh 256K (có thể mở rộng lên 512K) và sử dụng kiến trúc hướng tác nhân bao gồm mHC, MLA và MTP. Định dạng lượng tử hóa GGUF cho phép người dùng chạy các phiên bản trọng số đã nén một cách hiệu quả bằng các công cụ như llama.cpp.
## KIẾN THỨC NỀN
GGUF là định dạng tệp do nhóm llama.cpp thiết kế nhằm lưu trữ các mô hình ngôn ngữ để suy luận cục bộ hiệu quả, đặc biệt trên CPU và GPU cá nhân thông qua phương pháp lượng tử hóa. Mixture of Experts (MoE) là kiến trúc mạng thần kinh chỉ kích hoạt một tập hợp con các mạng phụ (các chuyên gia) cho mỗi token, đạt dung lượng lớn với chi phí tính toán hoạt động thấp hơn. NPU Ascend và framework MindSpore của Huawei tạo thành một hệ sinh thái phần cứng và phần mềm thay thế được thiết kế cho việc huấn luyện AI quy mô lớn bên ngoài các kiến trúc GPU truyền thống.