~/LLAMA CPP/llama-cpp-release-b12376-adds-qualcomm-hexagon-support-for-iq2-xxs-and

llama.cpp Bản phát hành b12376 Thêm Hỗ trợ Qualcomm Hexagon cho IQ2_XXS và NVFP4

Bản phát hành b12376 của llama.cpp giới thiệu hỗ trợ cho DSP và HMX Qualcomm Hexagon đối với các định dạng lượng tử hóa IQ2_XXS và NVFP4, đi kèm với các nhân nhân ma trận được tối ưu hóa. Các cập nhật này bao gồm bố cục đóng gói lại dạng lát (tiled repack), các hàm thu gom giải lượng tử hóa tùy chỉnh và tối ưu hóa đường ống cho phần cứng biên di động. Bản cập nhật này cải thiện đáng kể hiệu suất và hiệu quả suy luận mô hình ngôn ngữ lớn (LLM) cục bộ trên các thiết bị di động và thiết bị biên chạy bộ vi xử lý Qualcomm Snapdragon. Bằng cách kích hoạt các định dạng lượng tử hóa bit thấp tiên tiến trên phần cứng NPU/DSP Hexagon, các nhà phát triển có thể chạy các mô hình lớn hơn với mức tiêu thụ bộ nhớ thấp hơn trên các nền tảng di động. Yêu cầu kéo (pull request) này bổ sung các quy trình GGML Hexagon cụ thể, bao gồm các nhân nhân ma trận HVX, xử lý tỷ lệ trên mỗi ten-xơ (per-tensor scale) cho NVFP4, và các bản sửa lỗi tỷ lệ giải lượng tử hóa ở định dạng fp16. Nó cũng thiết lập quá trình thực thi lưới gọn nhẹ và các bài kiểm tra trọng số nhỏ để đảm bảo tính ổn định trong điều kiện giới hạn bộ nhớ.

## KIẾN THỨC NỀN

Qualcomm Hexagon là một dòng bộ xử lý tín hiệu số (DSP) và đơn vị xử lý thần kinh (NPU) được tích hợp vào các nền tảng di động Snapdragon nhằm tăng tốc hiệu quả các khối lượng công việc xử lý tín hiệu và trí tuệ nhân tạo. Llama.cpp là một framework mã nguồn mở thực hiện việc suy luận LLM bằng C/C++ với thiết lập tối thiểu, phụ thuộc nhiều vào các định dạng lượng tử hóa tùy chỉnh như IQ2_XXS để đưa các mô hình lớn vào bộ nhớ phần cứng hạn chế.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#quantization#edge-ai#hardware-acceleration#llm

$ subscribe --daily