llama.cpp Phát Hành Bản Xây Dựng b12109 với Đồng Bộ GGML Tự Động
Dự án llama.cpp đã phát hành bản xây dựng b12109, tích hợp tính năng đồng bộ thư viện tensor GGML tự động cùng với các tệp nhị phân được biên dịch sẵn cho macOS, Linux, Windows và các nền tảng di động. Các bản cập nhật thường xuyên như bản xây dựng b12109 đảm bảo rằng những người thực hành AI cục bộ có quyền truy cập ngay lập tức vào các cải tiến hiệu suất, bản vá lỗi và hỗ trợ phần cứng mới nhất trên nhiều hệ sinh thái thiết bị khác nhau. Bản phát hành này bao gồm các gói được xây dựng sẵn cho nhiều môi trường khác nhau như Ubuntu (với hỗ trợ CUDA, ROCm, OpenVINO và Vulkan), Windows và Android, mặc dù một số tích hợp thử nghiệm cụ thể như KleidiAI trên macOS Apple Silicon vẫn bị vô hiệu hóa.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn tại chỗ bằng ngôn ngữ C/C++ thuần túy. Nó được đồng phát triển cùng với GGML, một thư viện tensor đa mục đích được tối ưu hóa cho các hoạt động phần cứng đa nền tảng.