llama.cpp Phiên bản b11971 Thêm Tối Ưu Hóa OpenCL Tiled q4_k GEMM cho GPU Adreno
Phiên bản llama.cpp b11971 giới thiệu các tối ưu hóa OpenCL tiled q4_k GEMM nhắm cụ thể vào GPU Adreno. Bản cập nhật này cũng chạy q4_K lm_head dạng ô thông qua một phép toán GEMM dạng ô khi kích thước batch lớn hơn một. Bản cập nhật này cải thiện hiệu suất khi chạy các mô hình ngôn ngữ lớn cục bộ trên các thiết bị di động và thiết bị biên sử dụng chip Qualcomm Snapdragon. Nó nâng cao hiệu quả tăng tốc phần cứng cho các mô hình đã lượng tử hóa trên phần cứng đồ họa Adreno. Các thay đổi tách tiled dp4a q4_k GEMM thành một tệp riêng biệt và bao gồm các bài kiểm tra cụ thể cho hỗ trợ dp4a. Bản phát hành này đi kèm với các tệp nhị phân đa nền tảng và hướng dẫn thiết lập cho các thiết bị Linux và Android chạy chip Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng cục bộ, thường sử dụng GGML cho các phép toán tensor. Các phương pháp lượng tử hóa như q4_k làm giảm kích thước mô hình và yêu cầu bộ nhớ bằng cách nén trọng số thành dạng biểu diễn 4-bit, trong khi GEMM đại diện cho Phép nhân ma trận tổng quát, một hoạt động cơ bản trong suy luận mạng thần kinh.