llama.cpp Phát Hành Bản Xây Dựng b12020 Hỗ Trợ OpenCL FWHT
Phiên bản b12020 của llama.cpp giới thiệu hỗ trợ OpenCL cho phép biến đổi Fast Walsh-Hadamard Transform (FWHT), đi kèm với các tệp nhị phân được xây dựng sẵn cho nhiều nền tảng khác nhau. Bản cập nhật này mở rộng khả năng tăng tốc phần cứng cho các thiết bị sử dụng OpenCL, cải thiện tính ổn định và hiệu năng trên nhiều nền tảng phần cứng khác nhau. Bản phát hành bao gồm các tệp nhị phân cho macOS, Linux (hỗ trợ nhiều tùy chọn CUDA, Vulkan và SYCL), Android và Windows, cùng với các tài nguyên tối ưu hóa dành riêng cho thiết bị Snapdragon.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở do Georgi Gerganov tạo ra nhằm thực hiện suy luận cục bộ trên các mô hình ngôn ngữ lớn sử dụng thư viện tensor GGML. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền dành cho lập trình song song đa nền tảng trên các bộ tăng tốc khác nhau có trong CPU, GPU và các bộ xử lý khác.