Phiên bản llama.cpp b12031 bổ sung hỗ trợ OpenCL cho định dạng IQ3
Phiên bản phát hành b12031 của llama.cpp giới thiệu khả năng hỗ trợ OpenCL ban đầu cho các định dạng lượng tử hóa iq3, đi kèm với các tối ưu hóa chuyên biệt dành cho GPU Adreno. Bản cập nhật này cải thiện hiệu suất suy luận Mô hình Ngôn ngữ Lớn trên các thiết bị di động và phần cứng trang bị đồ họa Adreno, qua đó mở rộng khả năng tiếp cận phần cứng cho các mô hình lượng tử hóa bit thấp. Bản triển khai bổ sung các phép toán vector ma trận AOS/SOA iq3_s và iq3_xxs, nhân ma trận dạng ô (tiled), GEMM/GEMV không xáo trộn và các tập lệnh dp4a được tinh chỉnh riêng cho GPU Qualcomm Adreno.
## KIẾN THỨC NỀN
Lượng tử hóa giúp giảm dung lượng bộ nhớ và tăng tốc độ suy luận của các mô hình trí tuệ nhân tạo bằng cách nén trọng số về độ rộng bit thấp hơn, trong khi OpenCL cung cấp một tiêu chuẩn mở để lập trình song song đa nền tảng trên phần cứng không đồng nhất.