ggerganov/llama.cpp Phát Hành Bản Xây Dựng b11565 Kèm Bản Sửa Lỗi SYCL
Bản phát hành llama.cpp b11565 giới thiệu một bản sửa lỗi cụ thể cho SYCL nhằm bảo vệ đúng cách các hoạt động đọc DMMV ở cuối hàng. Ngoài ra, phiên bản này cung cấp các gói xây dựng đa nền tảng tiêu chuẩn cho nhiều hệ điều hành và cấu hình phần cứng khác nhau. Bản cập nhật này cải thiện tính ổn định và độ tin cậy khi thực thi cho người dùng chạy các mô hình ngôn ngữ lớn trên các bộ tăng tốc phần cứng thông qua backend SYCL. Các bản vá bảo trì gia tăng như vậy giúp hệ sinh thái công cụ AI cục bộ phụ thuộc vào llama.cpp duy trì sự ổn định. Bản cập nhật tập trung hoàn toàn vào một điều chỉnh mã nguồn nhỏ trong yêu cầu kéo (pull request) #29338, giúp ngăn chặn các vấn đề truy cập bộ nhớ ngoài giới hạn trong quá trình xử lý cuối hàng ở các thao tác DMMV.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép suy luận cục bộ hiệu quả đối với các mô hình ngôn ngữ lớn như Llama của Meta. SYCL là một tiêu chuẩn lập trình C++ mở, đa nền tảng, cho phép các nhà phát triển nhắm mục tiêu vào nhiều bộ tăng tốc phần cứng khác nhau từ một cơ sở mã nguồn duy nhất.