ggerganov/llama.cpp phát hành phiên bản b12064 tối ưu hóa cho Qualcomm Hexagon

Phiên bản llama.cpp b12064 giới thiệu một đường dẫn chuyển vị HVX chia ô (tiled HVX transpose path) nhằm cải thiện đáng kể hiệu suất sao chép hoán vị và định hình lại tensor trên phần cứng Qualcomm Hexagon. Bản cập nhật này thay thế các phương pháp dự phòng xử lý từng phần tử chậm chạp trước đây bằng cơ chế chuyển vị 2D tối ưu hóa sử dụng các tập lệnh véc-tơ. Cải tiến này giúp tăng tốc mạnh mẽ các phép toán tensor như hoán vị chuyển đổi giữa định dạng channel-first và channel-last thường dùng trong các mô hình VAE video và trí tuệ nhân tạo biên chạy trên thiết bị di động. Bằng cách nâng cao tốc độ vượt mức khoảng 45 MB/s, nó giúp khai thác tối đa tiềm năng phần cứng của các bộ xử lý tín hiệu số Qualcomm. Việc triển khai mới sử dụng các bộ đệm trung gian và chuyển vị được đệm kép (double-buffered) để chồng chéo quá trình DMA đầu vào với các tiến trình chuyển vị và DMA đầuออก. Nó cũng giới thiệu cách xử lý chuyên biệt cho các chế độ nén và kích thước nhỏ nhằm tránh nghẽn cổ chai hiệu suất.