llama.cpp Phát Hành Bản b10759 Sửa Lỗi Khởi Tạo Bộ Đệm KleidiAI
llama.cpp đã phát hành bản dựng b10759, cung cấp các tệp thực thi biên dịch sẵn được cập nhật cho nhiều hệ điều hành và nền tảng. Bản phát hành bao gồm một bản sửa lỗi cụ thể cho ggml nhằm tránh khởi tạo các loại bộ đệm KleidiAI trong quá trình điều phối (dispatch). Việc loại bỏ khởi tạo loại bộ đệm dư thừa mỗi khi điều phối giúp giảm chi phí xử lý và ngăn ngừa các sự cố tiềm ẩn khi thực hiện tính toán ma trận AI trên CPU Arm. Điều này đảm bảo hiệu năng mượt mà hơn và độ ổn định cao hơn cho các mô hình tận dụng tối ưu hóa KleidiAI của Arm trong llama.cpp. Bản cập nhật tích hợp pull request #27891 để sửa hành vi khởi tạo bộ đệm KleidiAI trong ggml. Nó cũng cập nhật tự động các tệp biên dịch sẵn cho macOS, Windows, Linux, Android và nhiều backend tăng tốc như CUDA, Vulkan, ROCm, OpenVINO và SYCL.
## KIẾN THỨC NỀN
llama.cpp là một framework C/C++ mã nguồn mở phổ biến được thiết kế để suy luận cục bộ hiệu năng cao cho các Mô hình Ngôn ngữ Lớn, phát triển trên nền tảng thư viện tensor ggml. Arm KleidiAI là một thư viện mã nguồn mở cung cấp các vi nhân (micro-kernels) tối ưu hóa nhằm tăng tốc khối lượng công việc AI trực tiếp trên kiến trúc Arm.