Phiên bản llama.cpp b11741 bổ sung hỗ trợ OpenCL cooperative-k dp4a GEMM
Phiên bản llama.cpp b11741 giới thiệu hỗ trợ cooperative-k dp4a GEMM trong OpenCL cho các định dạng lượng tử hóa q4_0, q4_k và q6_k. Bản cập nhật này cũng khắc phục các sự cố căn chỉnh để cải thiện độ tương thích và hiệu suất cho phần cứng được hỗ trợ. Cải tiến này giúp nâng cao tốc độ và hiệu suất suy luận mô hình ngôn ngữ lớn (LLM) cho những người dùng chạy mô hình thông qua phần phụ trợ OpenCL. Nó đảm bảo tận dụng phần cứng tốt hơn trên các thiết bị dựa vào tăng tốc OpenCL cho các phép toán tensor được lượng tử hóa. Bản cập nhật tập trung tối ưu hóa phép nhân ma trận tổng quát (GEMM) dành riêng cho các định dạng chuẩn và K-quantized 4-bit lẫn 6-bit bằng cách sử dụng các lệnh vector dp4a trong OpenCL. Các điều chỉnh căn chỉnh phù hợp đã được thực hiện để đảm bảo tính ổn định trong suốt các phép tính toán học độ chính xác thấp này.
## KIẾN THỨC NỀN
Các kỹ thuật lượng tử hóa như q4_0, q4_k và q6_k giúp giảm dung lượng bộ nhớ của các mô hình ngôn ngữ lớn bằng cách nén trọng số xuống độ rộng bit thấp hơn, giúp chúng có thể chạy trên phần cứng phổ thông. GEMM (Phép nhân ma trận tổng quát) là một khối xây dựng tính toán cơ bản trong mạng nơ-ron, trong khi các lệnh như dp4a giúp tăng tốc các phép toán tích vô hướng trên các kiến trúc phần cứng tương thích.