llama.cpp Phát hành Phiên bản b11392 Cập nhật Quyền CI và Binary Dựng sẵn
Dự án llama.cpp đã phát hành phiên bản b11392, mang tới cập nhật tự động cho quy trình tích hợp liên tục (CI) nhằm thiết lập các quyền mặc định thông qua PR #29945. Bản phát hành này cung cấp các tệp thực thi (binary) dựng sẵn cập nhật cho nhiều hệ điều hành và backend tăng tốc phần cứng. Các bản phát hành tự động định kỳ như b11392 giúp duy trì quy chuẩn bảo mật trong quy trình CI/CD trong khi vẫn liên tục cung cấp các binary mới cho các nhà phát triển. Điều này cho phép người dùng dễ dàng thử nghiệm và triển khai mã nguồn mới nhất trên nhiều nền tảng mà không cần tự biên dịch. Bản phát hành đóng gói các binary dựng sẵn cho Windows, macOS, Linux và Android, hỗ trợ các backend như CUDA 12/13, ROCm, Vulkan, OpenVINO, SYCL và Snapdragon. Đáng chú ý, bản dựng macOS Apple Silicon kích hoạt tăng tốc Arm KleidiAI vẫn tiếp tục bị vô hiệu hóa trong phiên bản này.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm C/C++ mã nguồn mở được thiết kế để chạy suy luận mô hình ngôn ngữ lớn (LLM) với hiệu năng cao và độ trễ thấp trên nhiều thiết bị phần cứng khác nhau. Arm KleidiAI là một thư viện mã nguồn mở cung cấp các vi nhân (micro-kernel) được tối ưu hóa nhằm tăng tốc các công việc AI trên kiến trúc Arm CPU.