llama.cpp Phát Hành Bản b11167 Bổ Sung Hỗ Trợ Hexagon Backend Cho Tác Vụ I32 CPY Và CONT
Bản phát hành llama.cpp b11167 chính thức bổ sung hỗ trợ cho các thao tác sao chép (CPY) và làm liền mạch bộ nhớ (CONT) đối với kiểu số nguyên 32-bit (I32) trên backend Qualcomm Hexagon. Cập nhật này mở rộng khả năng hỗ trợ các thao tác tensor cho phần cứng Snapdragon. Việc mở rộng hỗ trợ toán tử tensor trên kiến trúc Qualcomm Hexagon giúp việc thực thi các mô hình ngôn ngữ lớn trên thiết bị di động và thiết bị biên diễn ra mượt mà hơn. Điều này tăng cường tính tương thích và hiệu quả tăng tốc phần cứng cho các hệ thống Android và Linux dùng chip Snapdragon. Bản vá tích hợp pull request #29379 nhằm xử lý định dạng bộ nhớ liên tục và sao chép tensor I32 trong backend Hexagon. Các tệp thực thi biên dịch sẵn hỗ trợ Snapdragon Hexagon NPU được cung cấp cho nền tảng Linux arm64 và Android arm64.
## KIẾN THỨC NỀN
llama.cpp là một thư viện suy luận mã nguồn mở phổ biến được tối ưu để chạy các mô hình ngôn ngữ lớn trên nhiều kiến trúc phần cứng khác nhau. Qualcomm Hexagon là bộ xử lý tín hiệu số (DSP) và NPU tích hợp trong các vi xử lý Snapdragon để tăng tốc tác vụ AI trên thiết bị di động.