llama.cpp phát hành phiên bản 0.5.0 (Build b11146)
llama.cpp đã chính thức nâng cấp lên phiên bản 0.5.0 (build b11146) thông qua pull request #29333, đồng thời phát hành các bản biên dịch sẵn được cập nhật trên nhiều hệ điều hành. Là công cụ nền tảng để chạy cục bộ các mô hình ngôn ngữ lớn nguồn mở, các bản cập nhật cột mốc như phiên bản 0.5.0 giúp đảm bảo tính tương thích đa nền tảng trên nhiều hệ thống phần cứng khác nhau. Bản phát hành bao gồm các bản đóng gói hỗ trợ tăng tốc phần cứng cho CUDA 12 và 13, ROCm, Vulkan, OpenVINO, và Snapdragon trên Linux, Windows, Android, macOS và iOS. Đáng chú ý, tính năng KleidiAI trên các bản dựng macOS Apple Silicon arm64 đã bị vô hiệu hóa trong phiên bản này.
## KIẾN THỨC NỀN
llama.cpp là một công cụ nguồn mở bằng C/C++ phổ biến giúp chạy suy luận mô hình ngôn ngữ lớn cục bộ một cách hiệu quả với thiết lập tối thiểu. KleidiAI là thư viện nguồn mở của Arm cung cấp các vi nhân được tối ưu hóa nhằm tăng tốc các tác vụ AI trên kiến trúc CPU Arm.