llama.cpp Phát Hành Bản b11010 Khắc Phục Lỗi Driver Nvidia Trên Vulkan
Khung làm việc suy luận LLM mã nguồn mở llama.cpp đã phát hành bản vá b11010, bổ sung biện pháp khắc phục sự cố trên backend Vulkan đối với lỗi driver Nvidia trong argsort_large.comp. Bản vá này ngăn ngừa hiện tượng ứng dụng bị treo hoặc gặp lỗi bất ngờ khi chạy suy luận LLM thông qua backend Vulkan trên các hệ thống sử dụng card đồ họa Nvidia. Bản vá giải quyết pull request #28975 bằng cách điều chỉnh logic của shader tính toán trong `argsort_large.comp`. Các bản đóng gói sẵn đã được cập nhật cho nhiều nền tảng như Windows, Linux, macOS, iOS và Android trên các backend CPU, CUDA, Vulkan, ROCm, OpenVINO và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm C/C++ phổ biến được thiết kế để suy luận mô hình ngôn ngữ lớn (LLM) hiệu năng cao trên phần cứng cá nhân. Vulkan là một API tính toán và đồ họa đa nền tảng với chi phí vận hành thấp, giúp tăng tốc suy luận GPU trên phần cứng của nhiều nhà sản xuất khác nhau.