Bản phát hành b12069 của llama.cpp bổ sung hỗ trợ OpenCL cho lượng tử hóa iq4_xs
Bản phát hành b12069 của llama.cpp giới thiệu hỗ trợ OpenCL ban đầu cho định dạng lượng tử hóa iq4_xs, bổ sung các tối ưu hóa dành riêng cho GPU Qualcomm Adreno. Bản cập nhật này bao gồm các đóng góp mã nguồn từ các kỹ sư của Qualcomm nhằm cải thiện hiệu suất GEMV, GEMM và giải mã theo lô. Bản phát hành này nâng cao hiệu suất chạy các mô hình ngôn ngữ lớn trên thiết bị di động và các phần cứng trang bị GPU Adreno. Nó cho phép người dùng tận dụng các định dạng lượng tử hóa bit thấp để đạt hiệu năng tốt hơn và giảm dung lượng bộ nhớ trên nhiều loại phần cứng. Yêu cầu kéo này triển khai các phép nhân ma trận-véc-tơ AOS và SOA cho iq4_xs, phép tính GEMM/GEMV không xáo trộn và các lệnh dp4a cho GPU Adreno. Những thay đổi này giúp tăng tốc các tác vụ suy luận trực tiếp trên các nền tảng di động chạy OpenCL.
## KIẾN THỨC NỀN
llama.cpp là một framework phổ biến để chạy các mô hình ngôn ngữ lớn cục bộ với cấu hình tối thiểu, tận dụng nhiều backend phần cứng khác nhau. Các kỹ thuật lượng tử hóa như iq4_xs nén trọng số mô hình xuống khoảng 4.25 bit mỗi trọng số, giúp thu nhỏ kích thước tệp mà vẫn duy trì độ chính xác cao.