ggerganov/llama.cpp Phát Hành Phiên Bản b11604 Hỗ Trợ KleidiAI SME2
Phiên bản llama.cpp b11604 giới thiệu tính năng hỗ trợ phép nhân ma trận KleidiAI SME2 Q4_K và Q6_K cho các kiến trúc ARM. Bản cập nhật này mang lại các quy trình tối ưu hóa hiệu suất được thiết kế riêng cho các khả năng phần cứng Arm cụ thể. Cải tiến này giúp tăng tốc độ suy luận AI trên thiết bị đối với các CPU dựa trên ARM hỗ trợ tập lệnh SME2. Điều này mang lại lợi ích cho người dùng chạy các mô hình ngôn ngữ lớn trên thiết bị di động và phần cứng biên bằng cách tối đa hóa năng lực của bộ vi xử lý. Yêu cầu kéo #29219, do Charles Xu từ Arm đóng góp, tích hợp các quy trình KleidiAI để tăng tốc khối lượng công việc của mô hình lượng tử hóa Q4_K và Q6_K. Những thay đổi này nhắm đến phép nhân ma trận (matmul), một nút cổ chai hiệu suất quan trọng trong quá trình suy luận LLM.
## KIẾN THỨC NỀN
KleidiAI là một mã nguồn mở cung cấp các quy trình tối ưu hóa hiệu suất và các micro-kernel được tối ưu hóa cho CPU Arm. Các phương pháp lượng tử hóa như Q4_K và Q6_K trong llama.cpp cho phép các mô hình ngôn ngữ lớn chạy hiệu quả trên phần cứng phổ thông bằng cách giảm kích thước mô hình với mức tổn thất độ chính xác tối thiểu.