llama.cpp Phát hành Phiên bản b11531 Tái Cấu trúc Chat API và Cập nhật Bản dựng
llama.cpp đã phát hành bản dựng tự động b11531 với sự thay đổi chính là tái cấu trúc chat API thông qua Pull Request #30210. Bản phát hành này cũng cập nhật các tập tin thực thi được biên dịch sẵn cho nhiều hệ điều hành và phần cứng khác nhau. Việc liên tục tái cấu trúc các thành phần cốt lõi như chat API giúp duy trì cấu trúc mã nguồn sạch sẽ khi llama.cpp phát triển. Quy trình xây dựng phần mềm tự động giúp người dùng trên macOS, Linux, Windows và Android dễ dàng triển khai các cải tiến suy luận LLM mới nhất trên nhiều nền tảng tăng tốc phần cứng. Bản phát hành cung cấp các bản dựng hỗ trợ CPU và GPU như CUDA 12/13, Vulkan, ROCm 10.0, SYCL, OpenVINO và Qualcomm Snapdragon (Adreno GPU / Hexagon NPU). Đáng chú ý, bản dựng Apple Silicon tích hợp thư viện ARM KleidiAI vẫn tiếp tục tạm tắt.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở C/C++ phổ biến được sử dụng để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ với hiệu năng cao. ARM KleidiAI là thư viện mã nguồn mở do ARM phát triển nhằm tăng tốc các phép toán suy luận AI cấp thấp trên các vi xử lý ARM.