Bản lượng hóa GGUF của GLM-5.3 Flash đã phát hành qua Unsloth để chạy cục bộ
Các bản lượng hóa GGUF cho mô hình GLM-5.3 Flash mới của Z.ai, được tạo bằng Unsloth, hiện đã sẵn sàng để chạy cục bộ. Điều này cho phép người dùng chạy mô hình đa phương thức Mixture-of-Experts này trên phần cứng cá nhân. Bản phát hành này cho phép các nhà phát triển và những người đam mê AI chạy cục bộ một mô hình 320 tỷ tham số mạnh mẽ (với 18 tỷ tham số kích hoạt) mà không cần phụ thuộc vào các API đám mây đắt đỏ. Nó giúp giảm rào cản tiếp cận các khả năng lập trình và tác vụ tự trị (agentic) nâng cao trên phần cứng máy trạm hoặc máy tính cá nhân. Mô hình GLM-5.3 Flash có thể chạy cục bộ bằng llama.cpp hoặc Unsloth, yêu cầu 102GB RAM/VRAM cho phiên bản lượng hóa 1-bit và 128GB cho phiên bản 3-bit. Mô hình này được phát hành theo Giấy phép MIT, giúp người dùng dễ dàng tiếp cận cho nhiều mục đích sử dụng khác nhau.
## KIẾN THỨC NỀN
GLM-5.3 Flash là một mô hình Mixture-of-Experts (MoE) sở hữu tổng cộng 320 tỷ tham số nhưng chỉ kích hoạt 18 tỷ tham số cho mỗi token, giúp tối ưu hóa hiệu suất tính toán. GGUF là một định dạng tệp phổ biến được thiết kế để tải nhanh và chạy các mô hình ngôn ngữ lớn (LLM) đã được lượng hóa trên máy cục bộ, trong khi Unsloth là một nền tảng mã nguồn mở giúp đơn giản hóa việc huấn luyện và chạy các mô hình này.