ggerganov/llama.cpp Phát Hành Bản Xây Dựng b11904 Cùng Cập Nhật SYCL

Dự án llama.cpp đã phát hành bản xây dựng b11904, bao gồm các cập nhật nhỏ như tạo khuôn mẫu (template) cho các bộ ba khởi chạy MMVQ thông thường đối với SYCL. Bản phát hành này cũng cung cấp các tệp nhị phân được biên dịch sẵn trên nhiều nền tảng như Linux, Windows, macOS và Android. Bản phát hành này tiếp tục duy trì dòng chảy ổn định các bản tối ưu hóa và vá lỗi để chạy các mô hình ngôn ngữ lớn một cách hiệu quả trên các bộ tăng tốc phần cứng khác nhau. Các nhà phát triển sử dụng thiết bị tương thích SYCL sẽ được hưởng lợi từ những cải tiến gia tăng này đối với quy trình suy luận. Cập nhật cụ thể tập trung vào vấn đề #31013, triển khai việc tạo khuôn mẫu cho các bộ ba khởi chạy MMVQ (Lượng tử hóa vectơ nhân ma trận) thông thường dưới phần cứng phụ trợ SYCL. Các gói được xây dựng sẵn tiếp tục hỗ trợ nhiều cấu hình khác nhau bao gồm CUDA, Vulkan và OpenVINO.