llama.cpp Phát Hành Bản b10215 Bổ Sung Kiểm Tra Driver Vulkan Cho GPU Intel
Dự án llama.cpp đã phát hành phiên bản b10215, bổ sung tính năng kiểm tra phiên bản driver cho GPU Intel trên Windows nhằm giảm thiểu các sự cố sập nguồn liên quan đến Vulkan. Bản cập nhật này cũng loại bỏ lớp bảo vệ chống sập trước đó cho GPU Intel, vì lỗi đã được khắc phục từ phiên bản driver 32.0.101.8860. Bản phát hành này cải thiện độ ổn định khi chạy suy luận LLM cục bộ trên các hệ thống Windows sử dụng đồ họa tích hợp hoặc rời của Intel thông qua Vulkan API. Nó đảm bảo người dùng có driver cập nhật có thể chạy mô hình mà không cần các lớp bảo vệ hiệu năng không cần thiết, đồng thời bảo vệ những người dùng driver cũ khỏi bị sập ứng dụng. Trình kiểm tra phiên bản driver chuyển đổi trực tiếp từ `driverVersion` thay vì phân tích cú pháp dưới dạng chuỗi, và bản cập nhật này cũng hỗ trợ các GPU khác ngoài kiến trúc Xe2+. Ngoài ra, bản phát hành này tạm thời vô hiệu hóa bản dựng kích hoạt KleidiAI cho macOS Apple Silicon do một yêu cầu kéo (pull request) đang được xử lý.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở C/C++ phổ biến được thiết kế để suy luận cục bộ hiệu quả các mô hình ngôn ngữ lớn (LLM) như Llama. Vulkan là một API đồ họa và tính toán đa nền tảng mà llama.cpp sử dụng để tăng tốc thực thi mô hình trên nhiều loại GPU khác nhau, bao gồm cả GPU của Intel, AMD và Nvidia.