ggerganov/llama.cpp phát hành phiên bản b11804 với hỗ trợ OpenCL ARGMAX
Phiên bản llama.cpp b11804 giới thiệu tính năng thực thi OpenCL F32-to-I32 ARGMAX cùng với các gói phân phối nhị phân đa nền tảng thông thường. Bản cập nhật này tích hợp đóng góp #30897 nhằm tối ưu hóa các thao tác tensor trên các bộ tăng tốc phần cứng được hỗ trợ. Bản phát hành điểm định kỳ này cải thiện các tính năng tăng tốc phần cứng cho các thiết bị sử dụng OpenCL. Những bản cập nhật tích lũy như vậy đảm bảo khả năng tương thích rộng hơn và hiệu suất thực thi tốt hơn trên các môi trường điện toán đa dạng. Bản phát hành bao gồm pull request #30897 bổ sung hỗ trợ F32-to-I32 ARGMAX cho OpenCL, với các biến được khởi tạo bằng không để đồng bộ với CPU. Nó cũng cung cấp các gói nhị phân biên dịch sẵn cho macOS, Linux, Android và Windows nhằm vào nhiều kiến trúc CPU và GPU khác nhau.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện việc suy luận trên nhiều mô hình ngôn ngữ lớn khác nhau như Llama của Meta. OpenCL là một tiêu chuẩn mở, miễn phí bản quyền dành cho lập trình song song, đa nền tảng trên các bộ tăng tốc đa dạng có trong bộ xử lý hiện đại.