llama.cpp Phiên bản b11811 Thêm Các Nhân KleidiAI SVE

Phiên bản b11811 của llama.cpp giới thiệu các nhân mới Q8_0 SVE dotprod GEMV và SVE i8mm GEMM thông qua thư viện KleidiAI. Các bổ sung này cải thiện hiệu suất cho các khối lượng công việc trí tuệ nhân tạo chạy trên các kiến trúc Arm được hỗ trợ. Bản cập nhật này tối ưu hóa đáng kể tốc độ suy luận mô hình ngôn ngữ lớn trên các CPU Arm bằng cách tận dụng các tập lệnh tăng tốc phần cứng chuyên biệt. Nó mang lại lợi ích trực tiếp cho người dùng chạy các mô hình AI cục bộ trên thiết bị di động, máy chủ và phần cứng biên chạy bằng bộ xử lý Arm. Bản cập nhật tích hợp các vi nhân (micro-kernel) KleidiAI được tinh chỉnh đặc biệt để khai thác khả năng của CPU Arm cho các phép toán ma trận lượng tử hóa Q8_0. Điều này bao gồm các quy trình tối ưu hóa cho cả phép nhân Nhân-Vector Ma trận Tổng quát (GEMV) và Nhân-Nhân Ma trận Tổng quát (GEMM).