llama.cpp Phát Hành Phiên Bản b10921 Sửa Lỗi Căn Chỉnh WebGPU Cho Tensor Lượng Tử
Dự án llama.cpp đã phát hành bản dựng b10921 với bản sửa lỗi tập trung cho các liên kết tensor (tensor binding) trên WebGPU. Bản cập nhật điều chỉnh khoảng bù liên kết (binding offset) để căn chỉnh theo kích thước khối, đảm bảo các chế độ xem lượng tử theo khối (block quantized views) nhận được vị trí phần tử hợp lệ trong GPU shader. Bản sửa lỗi này ngăn ngừa các lỗi căn chỉnh bộ nhớ và tính toán sai trong shader khi chạy các mô hình ngôn ngữ lớn (LLM) được lượng tử hóa trên WebGPU backend. Điều này giúp nâng cao độ tin cậy và tính ổn định khi chạy suy luận AI mã nguồn mở trực tiếp trên trình duyệt web. Bản sửa lỗi lùi khoảng bù liên kết (binding offset) lại cho đến khi khoảng cách tới tensor là một số nguyên lần kích thước khối, giúp căn chỉnh cấu trúc dữ liệu theo đúng giới hạn của storage buffer trên WebGPU. Các bản dựng thực thi cập nhật đã được phát hành cho các nền tảng macOS, Windows, Linux và Android.
## KIẾN THỨC NỀN
llama.cpp là một thư viện C/C++ phổ biến được thiết kế để suy luận cục bộ hiệu quả các Mô hình Ngôn ngữ Lớn trên nhiều loại phần cứng, bao gồm cả WebGPU cho trình duyệt web. WebGPU yêu cầu căn chỉnh bộ nhớ nghiêm ngặt đối với các bộ đệm (buffer), điều này đôi khi xung đột với kỹ thuật lượng tử hóa theo khối vốn nén các trọng số mô hình thành nhóm khối có kích thước cố định nhằm tiết kiệm bộ nhớ.