ggerganov/llama.cpp Phát Hành Phiên Bản b11790 với Các Tối Ưu Hóa Hexagon
Phiên bản b11790 của llama.cpp giới thiệu các tối ưu hóa đóng gói lại (repack) sử dụng vector hóa NEON và đa luồng được thiết kế riêng cho kiến trúc Qualcomm Hexagon. Bản cập nhật này bổ sung đóng gói lại q4_0 được vector hóa, mở rộng hỗ trợ cho các kiểu dữ liệu khác, đồng thời triển khai tính năng chia nhỏ khối và đa luồng đơn giản. Những cải tiến gia tăng này giúp nâng cao hiệu suất suy luận mô hình ngôn ngữ lớn cục bộ trên các thiết bị di động và biên chạy bằng chip Snapdragon. Bằng cách tối ưu hóa cách dữ liệu được xử lý và định dạng cho các bộ tăng tốc phần cứng như Hexagon NPU, người dùng có thể trải nghiệm việc thực thi AI trên thiết bị nhanh hơn và hiệu quả hơn. Bản cập nhật tích hợp các thay đổi từ yêu cầu kéo (pull request) #30901, được đồng tác giả bởi các nhà đóng góp từ Qualcomm. Nó bao gồm các tối ưu hóa vi mô mục tiêu nhằm vector hóa các kiểu dữ liệu còn lại như q1, q2 và f16 bên cạnh định dạng q4_0 chính.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở được sử dụng rộng rãi, cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ. Qualcomm Hexagon là thương hiệu bộ xử lý tín hiệu số và đơn vị xử lý thần kinh (NPU) được tích hợp trong các nền tảng Snapdragon nhằm tăng tốc các khối lượng công việc với hiệu suất năng lượng cao.