ggerganov/llama.cpp Phát Hành Phiên Bản b12394
Phiên bản b12394 của llama.cpp mang đến các tối ưu hóa xử lý hình ảnh SYCL cùng với các gói phân phối nhị phân tiêu chuẩn trên nhiều nền tảng. Bản phát hành này cải thiện hiệu suất tăng tốc phần cứng cho các bộ gia tốc cụ thể, mang lại lợi ích cho người dùng chạy các mô hình đa phương thức với phần cứng tương thích SYCL. Bản cập nhật này tích hợp cụ thể yêu cầu kéo #32109 nhằm tối ưu hóa các quy trình xử lý hình ảnh đa phương thức (mtmd) trên nền tảng SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận cục bộ hiệu quả trên các mô hình ngôn ngữ lớn bằng cách sử dụng thư viện tensor GGML. SYCL là lớp trừu tượng lập trình C++ đa nền tảng cho phép tính toán dị thể trên nhiều bộ gia tốc phần cứng khác nhau như GPU.