ggerganov/llama.cpp phát hành phiên bản b11706 kèm bản sửa lỗi SYCL
Bản phát hành b11706 của llama.cpp giới thiệu một bản vá lỗi nhằm khắc phục tình trạng suy giảm hiệu năng xử lý câu lệnh (prompt-processing) đối với phần phụ trợ SYCL, liên quan cụ thể đến việc sắp xếp lại trọng số Q4_0 và Q8_0. Bản cập nhật này đảm bảo rằng những người dùng chạy các mô hình ngôn ngữ lớn cục bộ trên các bộ tăng tốc phần cứng thông qua phần phụ trợ SYCL có thể xử lý các câu lệnh một cách chính xác mà không gặp phải các lỗi suy giảm hiệu năng. Bản phát hành này được gắn mã pull request #30374 và cung cấp các gói tệp nhị phân được biên dịch sẵn cho nhiều nền tảng khác nhau bao gồm macOS, Linux, Windows và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở cho phép thực thi suy luận hiệu quả cho các mô hình ngôn ngữ lớn trên phần cứng cục bộ. SYCL là một mô hình lập trình dựa trên C++ được thiết kế để cải thiện hiệu suất trên các bộ tăng tốc phần cứng đa dạng.