llama.cpp b10991 Khôi phục các Quy trình Fast-Path cho Qualcomm Hexagon DSP
Phiên bản b10991 của llama.cpp bổ sung lại các thao tác fast-path liên tục bị thiếu và quy trình hvx_copy_uu cho backend Qualcomm Hexagon DSP. Bản cập nhật này ngăn chặn việc suy giảm hiệu năng khi thực thi suy luận LLM trên các thiết bị Snapdragon dùng phần cứng Hexagon DSP. Nó giúp duy trì các thao tác bộ nhớ vector được tối ưu hóa trên các thiết bị di động và edge chạy chip Qualcomm. Sửa lỗi này giải quyết cụ thể PR #28886 bằng cách tích hợp lại các lệnh sao chép bộ nhớ HVX (Hexagon Vector eXtensions) cần thiết cho mỗi lượt thực thi. Các bản dựng sẵn đã được cung cấp cho nền tảng Linux, Windows, macOS và Android.
## KIẾN THỨC NỀN
Qualcomm Hexagon là kiến trúc bộ xử lý tín hiệu số (DSP) tích hợp trong các chip Snapdragon, sở hữu Hexagon Vector eXtensions (HVX) hỗ trợ xử lý SIMD hiệu năng cao. llama.cpp là công cụ suy luận nguồn mở được thiết kế để chạy các mô hình ngôn ngữ lớn một cách hiệu quả trên nhiều phần cứng tăng tốc khác nhau.