~/LLAMA CPP/llama-cpp-release-b11748-fixes-sycl-backend-quantized-weights-bug

Bản phát hành b11748 của llama.cpp sửa lỗi trọng số lượng tử hóa cho backend SYCL

Bản phát hành b11748 của llama.cpp giới thiệu một bản vá lỗi tập trung cho hàm `get_rows` trên các trọng số lượng tử hóa đã sắp xếp lại dành riêng cho backend SYCL. Bản cập nhật này giải quyết các sự cố hiển thị hoặc tính toán gặp phải khi xử lý các trọng số mô hình đã được tối ưu hóa trên các bộ tăng tốc phần cứng được hỗ trợ. Bản sửa lỗi này đảm bảo tính ổn định và chính xác cao hơn cho người dùng chạy các mô hình ngôn ngữ lớn cục bộ sử dụng các bộ tăng tốc phần cứng dựa trên mô hình lập trình SYCL. Dù là một bản cập nhật gia tăng, nó góp phần nâng cao độ tin cậy tổng thể của việc hỗ trợ đa backend trong hệ sinh thái. Bản vá giải quyết pull request #30430, tập trung hoàn toàn vào việc khắc phục cách các trọng số lượng tử hóa được sắp xếp lại trích xuất các hàng trong luồng thực thi của SYCL. Các tệp nhị phân biên dịch sẵn và gói mã nguồn cho nhiều hệ điều hành và backend khác nhau được đính kèm trong nhãn phát hành này.

## KIẾN THỨC NỀN

llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn bằng cách sử dụng thư viện tensor GGML. SYCL là một lớp trừu tượng lập trình C++ đa nền tảng, mở, cho phép các lập gia công phần mềm chạy mã không đồng nhất trên nhiều bộ tăng tốc phần cứng khác nhau.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#AI#machine-learning#hardware-acceleration#release

$ subscribe --daily

Bản phát hành b11748 của llama.cpp sửa lỗi trọng số lượng tử hóa cho backend SYCL | Daily News