llama.cpp Phát Hành Bản b11048 Hỗ Trợ backend Metal Cho Mô Hình qwen4exp
Phiên bản b11048 của llama.cpp bổ sung hỗ trợ trên backend Metal cho các biến thể toán tử thành phần ẩn (HC) được dùng bởi mô hình qwen4exp. Cụ thể, bản cập nhật triển khai toán tử hc_pre cổng với cổng sigmoid theo từng phần tử và toán tử hc_post với trích xuất trộn định danh. Bản cập nhật định kỳ này mở rộng khả năng hỗ trợ tăng tốc phần cứng cho các kiến trúc mô hình Qwen thực nghiệm trên thiết bị Apple Silicon. Nó giúp người dùng Mac và iOS có thể chạy các biến thể qwen4exp hiệu quả bằng việc tăng tốc GPU nguyên bản. Bản vá giải quyết các biến thể toán tử DSV4 HC cụ thể, hỗ trợ các trường hợp tensor kết hợp trong hc_post bị rỗng (comb == nullptr). Bản phát hành cũng cung cấp các tệp thực thi biên dịch sẵn trên nhiều nền tảng như macOS, iOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một khung suy luận LLM mã nguồn mở hiệu năng cao được viết bằng C/C++, cho phép chạy cục bộ các mô hình ngôn ngữ lớn trên phần cứng người dùng. Backend Metal của dự án được tối ưu hóa riêng cho GPU Apple Silicon (dòng chip M), giúp suy luận nhanh trên thiết bị macOS và iOS mà không cần phụ thuộc vào các thư viện ngoài phức tạp.