llama.cpp Phát hành b10938 Khắc phục Lỗi Driver Vulkan của NVIDIA
Bản phát hành b10938 của llama.cpp đã bổ sung giải pháp khắc phục tạm thời cho một lỗi driver NVIDIA ảnh hưởng đến quá trình thực thi Vulkan. Bản vá bao bọc các thao tác gửi hàng đợi (queue submission) Vulkan trong một mutex để ngăn ngừa lỗi đồng bộ hóa nội bộ. Bản cập nhật này giúp ngăn ngừa sự cố sập ứng dụng và lỗi đồng bộ hóa cho người dùng suy luận LLM bằng backend Vulkan trên phần cứng NVIDIA. Điều này đảm bảo quá trình thực thi đa nền tảng diễn ra ổn định mà không cần chờ NVIDIA phát hành bản sửa lỗi driver chính thức. Lỗi driver này làm hỏng quá trình đồng bộ hóa nội bộ khi hai hàng đợi lệnh trên cùng một `VkDevice` gửi tác vụ đồng thời. Bản phát hành này bổ sung một trình bao mutex xung quanh các lời gọi `queuesubmit` như một giải pháp tạm thời.
## KIẾN THỨC NỀN
llama.cpp là một framework C/C++ mã nguồn mở phổ biến dùng để chạy suy luận Mô hình Ngôn ngữ Lớn (LLM) cục bộ trên nhiều backend phần cứng khác nhau. Vulkan là một API đồ họa và tính toán cấp thấp, đa nền tảng, quản lý các thao tác GPU thông qua các hàng đợi lệnh được gửi tới thiết bị thực thi.