ggerganov/llama.cpp Phát Hành Phiên Bản b11693 với Các Bản Vá Lỗi SYCL
Phiên bản phát hành b11693 của llama.cpp mang đến các bản vá lỗi tập trung cho các lỗi bộ nhớ SYCL ảnh hưởng đến phép nhân ma trận, bộ đệm phân tách và vùng chứa máy chủ (host pool). Bản cập nhật gia tăng này nhằm cải thiện độ ổn định khi chạy các mô hình ngôn ngữ lớn sử dụng bộ tăng tốc phần cứng được hỗ trợ SYCL. Bản phát hành này đảm bảo quá trình suy luận mô hình AI cục bộ đáng tin cậy hơn cho người dùng tận dụng các bộ tăng tốc phần cứng thay thế thông qua SYCL. Việc duy trì hỗ trợ backend đa nền tảng vững chắc là rất quan trọng để giữ cho llama.cpp linh hoạt trên nhiều kiến trúc GPU khác nhau. Bản vá giải quyết cụ thể vấn đề #29889, khắc phục các lỗi bộ nhớ nghiêm trọng trong thao tác nhân ma trận (mul_mat), quản lý bộ đệm phân tách và quá trình thực thi vùng chứa máy chủ dưới mô hình lập trình SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở thực hiện suy luận hiệu quả trên nhiều mô hình ngôn ngữ lớn khác nhau bằng cách sử dụng tài nguyên phần cứng tối thiểu. SYCL là mô hình lập trình C++ cấp cao hơn được thiết kế để nâng cao năng suất khi viết các ứng dụng tăng tốc cho các thiết bị tăng tốc phần cứng khác nhau như GPU.