ggerganov/llama.cpp Phát Hành Phiên Bản b11564 với Các Tối Ưu Hóa Vulkan
Phiên bản llama.cpp b11564 giới thiệu các tối ưu hóa Vulkan giúp chuyên biệt hóa kích thước khối lượng tử hóa cho phép nhân ma trận. Bản phát hành này cũng áp dụng các biểu thức tam nguyên để tránh việc hạ cấp câu lệnh switch đối với kích thước khối lượng tử hóa CM2. Những cải tiến gia tăng này giúp nâng cao hiệu suất và hiệu quả khi chạy các mô hình ngôn ngữ lớn trên các thiết bị sử dụng phần phụ trợ đồ họa Vulkan. Các nhà phát triển và người dùng phụ thuộc vào khả năng tăng tốc GPU đa nền tảng sẽ có được quy trình suy luận mượt mà hơn. Bản cập nhật tập trung đặc biệt vào việc xử lý kích thước khối lượng tử hóa CM2 bằng cách thay thế các cấu trúc điều khiển switch-case bằng biểu thức tam nguyên nhằm tối ưu hóa việc biên dịch và thực thi shader.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở cho phép suy luận mô hình ngôn ngữ lớn hiệu quả trên phần cứng phổ thông, đặc biệt chú trọng vào CPU và nhiều loại GPU phụ trợ khác nhau như Vulkan. Lượng tử hóa là kỹ thuật dùng để nén trọng số mô hình có độ chính xác cao thành các định dạng ít bit hơn nhằm giảm bộ nhớ và tăng tốc độ suy luận.