llama.cpp Phát Hành Bản b11347 Sửa Lỗi Phụ Thuộc HTP Skeleton Trên Qualcomm Hexagon DSP
llama.cpp đã phát hành bản dựng b11347, cung cấp các tệp thực thi biên dịch sẵn mới cùng các sửa lỗi cho phụ thuộc của Qualcomm Hexagon DSP. Pull request #29828 tiến hành cài đặt lại các thư viện Hexagon Tensor Processor (HTP) skeleton và giải quyết các lỗi phụ thuộc danh mục. Bản cập nhật bảo trì định kỳ này đảm bảo tính ổn định và khả năng nạp thư viện động chính xác cho người dùng chạy LLM cục bộ trên các nền tảng Snapdragon trang bị NPU của Qualcomm. Nó giúp duy trì quy trình triển khai mượt mà trên các hệ điều hành được hỗ trợ bao gồm Linux, Android, Windows, macOS và iOS. Bản sửa lỗi dựng lại các thư viện động HTP skeleton và điều chỉnh các phụ thuộc trong danh mục skel cần thiết cho việc tăng tốc phần cứng Hexagon NPU. Các bản dựng sẵn được cập nhật cho Snapdragon trên Linux arm64 và Android arm64, bên cạnh các gói tiêu chuẩn cho CPU, CUDA, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
llama.cpp là một khung mã nguồn mở phổ biến được thiết kế để thực thi suy luận LLM hiệu năng cao trên phần cứng cá nhân. Qualcomm Hexagon DSP sử dụng các bộ xử lý Hexagon Tensor (HTP) để tăng tốc các phép toán mạng thần kinh, dựa vào các thư viện động skeleton ('skel') được biên dịch để thực thi tác vụ trực tiếp trên NPU.