ggerganov/llama.cpp phát hành phiên bản b11868 với tối ưu hóa Qualcomm Hexagon
Bản phát hành b11868 của llama.cpp giới thiệu tối ưu hóa chia nhóm KV-head cho flash attention HMX đa nhân trên phần cứng Qualcomm Hexagon. Bản cập nhật này gộp các cờ trước đó thành một tham số duy nhất GGML_HEXAGON_FA_SPLIT nhằm đảm bảo các nhân máy tính bị bỏ không vẫn tham gia hoạt động khi số lượng KV head ít hơn số nhân có sẵn. Tối ưu hóa này cải thiện hiệu suất sử dụng phần cứng và tốc độ suy luận cho các mô hình ngôn ngữ lớn chạy trên các thiết bị biên tích hợp NPU Qualcomm Snapdragon và Hexagon. Điều này giúp các kỹ sư AI biên khai thác hiệu suất tốt hơn từ các kiến trúc phần cứng di động và nhúng. Cờ mới GGML_HEXAGON_FA_SPLIT chấp nhận các giá trị trong đó 0 vô hiệu hóa tính năng chỉ dùng chia token, và 1 bật tính năng chia head kết hợp chia nhóm. Khi số lượng attention head chia hết cho các nhân, hệ thống sẽ sử dụng chiến lược chia head thông thường.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở cho phép chạy các mô hình ngôn ngữ lớn cục bộ trên nhiều nền tảng phần cứng khác nhau thông qua thư viện tensor GGML. Qualcomm Hexagon là dòng sản phẩm bộ xử lý tín hiệu số và bộ xử lý thần kinh được thiết kế để mang lại hiệu suất tính toán AI cao với mức tiêu thụ điện năng thấp trên các thiết bị di động và thiết bị biên.