llama.cpp Phát Hành Bản b11717 Hỗ Trợ Hexagon DSP Cho Q1_0 và Q2_0
Phiên bản phát hành b11717 của llama.cpp bổ sung hỗ trợ cho các phép toán Hadamard MUL_MAT và GET_ROW đối với định dạng lượng tử hóa Q1_0 và Q2_0 dạng phẳng và dạng ô trên kiến trúc Qualcomm Hexagon. Bản cập nhật này cũng giảm số lượng gói tin trong bộ lượng tử hóa q8_1 và vec_dot_q1 nhằm tối ưu hóa hiệu suất. Bản phát hành này nâng cao hiệu suất và hiệu quả AI trên thiết bị di động cũng như phần cứng biên chạy bằng bộ vi xử lý Snapdragon. Bằng cách tối ưu hóa các định dạng lượng tử hóa cực mạnh cho các bộ tăng tốc phần cứng chuyên dụng, nó cho phép các mô hình ngôn ngữ lớn chạy mượt mà hơn với mức tiêu thụ điện năng thấp hơn. Các cập nhật nhắm mục tiêu cụ thể vào các triển khai phần cứng Hexagon DSP và NPU của Qualcomm, bổ sung các hàm GET_ROWS dạng phẳng và dạng ô cho Q1_0 và Q2_0. Các đóng góp cho bản phát hành này bao gồm công sức từ các nhà phát triển của Qualcomm nhằm cải thiện các phép nhân vô hướng véc-tơ cấp thấp và số lượng gói tin.
## KIẾN THỨC NỀN
Qualcomm Hexagon là một họ bộ xử lý tín hiệu số (DSP) và bộ xử lý thần kinh (NPU) được thiết kế cho các tác vụ AI biên và điện toán di động có hiệu suất cao, tiêu thụ điện năng thấp. Q1_0 và Q2_0 là các định dạng lượng tử hóa mô hình cực kỳ nhỏ gọn trong llama.cpp, trong đó Q1_0 sử dụng khoảng 1.125 bit cho mỗi trọng số để lượng tử hóa chỉ lấy dấu trong các môi trường bị giới hạn tài nguyên nghiêm ngặt.