llama.cpp Phiên Bản b11873 Thêm Hỗ Trợ Lượng Tử Hóa q2_k Ban Đầu Cho OpenCL
Bản phát hành b11873 của llama.cpp bổ sung hỗ trợ lượng tử hóa q2_k ban đầu cho OpenCL, mang lại các cải tiến hiệu năng cụ thể và tối ưu hóa nhân cho GPU Adreno. Bản cập nhật này cải thiện đáng kể hiệu suất chạy các mô hình ngôn ngữ lớn trên các thiết bị di động và biên sử dụng phần cứng đồ họa Qualcomm Adreno. Bằng cách giảm dung lượng bộ nhớ thông qua lượng tử hóa q2_k qua OpenCL, việc triển khai trên thiết bị di động trở nên khả thi hơn rất nhiều. Yêu cầu kéo này triển khai các tính năng OpenCL mới bao gồm mul_mv_q2_k_f32, các phép toán vector ma trận SOA q2_k, phép nhân ma trận lát gạch, và các phép toán gemm/gemv dp4a được tinh chỉnh riêng cho Adreno. Bản cập nhật này có sự đóng góp từ các kỹ sư của Qualcomm.
## KIẾN THỨC NỀN
Lượng tử hóa là kỹ thuật nén các mô hình ngôn ngữ lớn bằng cách giảm độ chính xác của trọng số, cho phép chúng chạy trên phần cứng có bộ nhớ hạn chế. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền dành cho lập trình song song đa nền tảng trên các hệ thống dị thể, thường được sử dụng để tăng tốc GPU trên các thiết bị di động và nhúng.