llama.cpp b10993 Bổ sung Kiểm thử WebGPU và Vulkan Tự Host vào CI
Bản phát hành b10993 của llama.cpp cập nhật các quy trình tích hợp liên tục (CI) trên Hugging Face để bổ sung thử nghiệm WebGPU và Vulkan tự host. Bản phát hành này cũng đi kèm các bản biên dịch sẵn cho nhiều kiến trúc nền tảng như Linux, macOS, Windows và Android. Mở rộng kiểm thử CI tự động cho các backend WebGPU và Vulkan giúp cải thiện chất lượng mã nguồn và ngăn ngừa lỗi cho việc suy luận LLM trên trình duyệt web và đa nền tảng. Kiểm thử tự động trên phần cứng GPU tự host đảm bảo tăng tốc phần cứng ổn định ngoài hệ sinh thái CUDA. Bản phát hành tích hợp pull request #28712, thử nghiệm các bản GPU NVIDIA T4, điều chỉnh cấu hình luồng xử lý của CPU backend và khôi phục các tác vụ thực thi tùy chỉnh. Các bản tệp thực thi hỗ trợ các backend CUDA 12/13, ROCm 10.0, SYCL, OpenVINO và Vulkan.
## KIẾN THỨC NỀN
llama.cpp là một khung ứng dụng C/C++ mã nguồn mở phổ biến cho phép suy luận hiệu năng cao các Mô hình Ngôn ngữ Lớn (LLM) trên nhiều loại phần cứng. WebGPU là một API web hiện đại cho phép các ứng dụng web tận dụng phần cứng đồ họa cục bộ cho các tác vụ tính toán song song nặng như suy luận AI.