llama.cpp Phát Hành Bản b11716 Bổ Sung Hỗ Trợ Hexagon DSP Cho Q1_0 và Q2_0
Dự án llama.cpp vừa phát hành phiên bản b11716, mang đến khả năng hỗ trợ nguyên bản cho các định dạng lượng tử hóa Q1_0 và Q2_0 trên nền tảng Qualcomm Hexagon DSP. Bản cập nhật này bao gồm các tối ưu hóa về tích vô hướng vectơ, điều chỉnh việc chia ô phi vuông (non-square tiling) và cải tiến bố cục dành riêng cho tăng tốc phần cứng di động. Bản phát hành này cho phép nén mô hình ở mức độ siêu thấp (low-bit) để chạy trực tiếp trên các thiết bị di động và thiết bị biên sử dụng phần cứng Qualcomm Snapdragon. Bằng cách cải thiện các luồng thực thi trên bộ xử lý tín hiệu số Hexagon, nó giúp chạy các mô hình ngôn ngữ lớn hiệu quả hơn trong các điều kiện hạn chế về nguồn điện và bộ nhớ. Bản cập nhật kích hoạt trọng số Q1_0 trong đường dẫn nhân ma trận 2D HMX và bổ sung định dạng Q2_0 cùng với việc tổng quát hóa việc chia ô (tiling) nhằm giảm chi phí giải nén. Các nhà phát triển có thể triển khai các cấu hình độ chính xác thấp này bằng cách sử dụng các gói Snapdragon dành cho Linux và Android đã được cập nhật.
## KIẾN THỨC NỀN
Qualcomm Hexagon là dòng sản phẩm bao gồm bộ xử lý tín hiệu số (DSP) và đơn vị xử lý thần kinh (NPU) được tích hợp vào các nền tảng di động Snapdragon nhằm tăng tốc hiệu quả các tác vụ AI và đa phương tiện. Quá trình lượng tử hóa giúp giảm độ chính xác và dung lượng bộ nhớ của mô hình bằng cách lưu trữ trọng số bằng ít bit hơn, từ đó cho phép các mô hình lớn vận hành trên phần cứng biên bị giới hạn tài nguyên.