ggerganov/llama.cpp Phát Hành Phiên Bản b11901 với Giới Hạn Bộ Nhớ SYCL
ggerganov đã phát hành llama.cpp phiên bản b11901, bao gồm các bản vá lỗi thường lệ, các tệp nhị phân được biên dịch sẵn trên nhiều nền tảng và các cập nhật hiệu suất nhỏ như giới hạn bộ nhớ tạm thời SYCL. Bản cập nhật gia tăng này giúp cải thiện độ ổn định và tính tương thích thiết bị cho người dùng chạy các mô hình ngôn ngữ lớn cục bộ trên các cấu hình phần cứng khác nhau. Bản phát hành giới hạn rõ ràng bộ nhớ tạm thời sắp xếp lại ở mức 32 MiB cho backend SYCL cùng với các bản dựng biên dịch sẵn tiêu chuẩn cho macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn trên phần cứng phổ thông, được phát triển đồng thời với thư viện tensor GGML. SYCL là một lớp trừu tượng C++ đa nền tảng, miễn phí bản quyền, cho phép viết mã cho các bộ xử lý dị thể bằng các mô hình tiêu chuẩn.