Bản phát hành b12099 của llama.cpp bổ sung hỗ trợ ban đầu cho Qualcomm Hexagon DSP
Bản phát hành b12099 của llama.cpp giới thiệu tính năng hỗ trợ ban đầu cho Qualcomm Hexagon DSP đối với thao tác LIGHTNING_INDEXER. Bổ sung này mang lại các luồng tối ưu hóa hiệu năng xử lý văn bản đầu vào (prefill) và giải mã (decode) bằng cách tận dụng các thành phần phần cứng chuyên dụng. Cập nhật này cải thiện đáng kể khả năng suy luận mô hình ngôn ngữ lớn cục bộ trên các thiết bị di động và biên chạy bộ vi xử lý Qualcomm Snapdragon. Nó cho phép các nhà phát triển đạt được tốc độ và hiệu suất thực thi tốt hơn bằng cách chuyển các tác vụ tính toán sang bộ tăng tốc phần cứng chuyên dụng trên thiết bị. Bản cập nhật triển khai các luồng HMX theo dạng ống dẫn (pipeline), hỗ trợ các kiểu dữ liệu Q4_0 và F32, cùng cơ chế đệm kép chuẩn hóa cho các đường ống DMA. Ngoài ra, nó cung cấp tham số cấu hình GGML_HEXAGON_LI_SELECT để buộc sử dụng các đường dẫn thực thi HMX hoặc HVX.
## KIẾN THỨC NỀN
Qualcomm Hexagon là một dòng sản phẩm gồm bộ xử lý tín hiệu số (DSP) và bộ xử lý thần kinh (NPU) được thiết kế để xử lý hiệu quả các tác vụ xử lý tín hiệu và học máy đòi hỏi khắt khe. Trong các môi trường chạy mô hình ngôn ngữ lớn như llama.cpp, prefill đề cập đến quá trình xử lý câu lệnh đầu vào ban đầu, trong khi decode đề cập đến việc tạo ra các token phản hồi tiếp theo.