llama.cpp b11006 bổ sung kernel Q4_K và Q6_K cho Qualcomm Hexagon DSP
Phiên bản b11006 của llama.cpp bổ sung các kernel lượng tử hóa Q4_K và Q6_K dành riêng cho bộ xử lý tín hiệu số (DSP) Qualcomm Hexagon. Đóng góp này (PR #28994) được đồng thực hiện bởi kỹ sư thuộc Qualcomm nhằm nâng cao độ chính xác giải nén và tốc độ xử lý cho mô hình K-quants trên phần cứng Hexagon. Sự tối ưu hóa phần cứng này cho phép các mô hình ngôn ngữ lớn chạy bằng định dạng K-quants Q4_K và Q6_K vận hành nhanh hơn và tiết kiệm năng lượng hơn trên vi xử lý Qualcomm Snapdragon. Điều này giúp giảm độ trễ và tiêu thụ điện năng khi suy luận AI cục bộ trên các thiết bị di động và Edge AI. Bản cập nhật tổng hợp các commit triển khai kernel Q6_K, nâng cao độ chính xác giải nén trên Hexagon và thêm kernel Q4_K. Các bản dịch đã biên dịch sẵn (pre-built binaries) đi kèm bao gồm nhiều nền tảng như Android arm64 và Windows arm64 hỗ trợ OpenCL Adreno.
## KIẾN THỨC NỀN
llama.cpp là khung ứng dụng nguồn mở viết bằng C/C++ phổ biến, giúp chạy các mô hình ngôn ngữ lớn hiệu quả trên phần cứng thương mại. Kỹ thuật lượng tử hóa K-quants (như Q4_K và Q6_K) nén trọng số mô hình xuống 4-bit hoặc 6-bit để tiết kiệm dung lượng bộ nhớ, trong khi Qualcomm Hexagon DSP là bộ xử lý chuyên dụng tích hợp trên chip Snapdragon giúp tăng tốc tính toán AI tiết kiệm điện.