llama.cpp b10816 Bổ Sung Tối Ưu Metal Flash Attention Cho Chip Apple M3
Phiên bản b10816 của llama.cpp bổ sung các cấu hình tinh chỉnh vector Flash Attention (fa-vec) trên Metal được tối ưu riêng cho vi xử lý Apple M3. Bản cập nhật này tích hợp các cấu hình tinh chỉnh trên nhiều định dạng định lượng phổ biến bao gồm q4_0, q4_1, q5_0 và q5_1. Tối ưu hóa này giúp các nhà phát triển và người dùng chạy mô hình ngôn ngữ lớn (LLM) đã định lượng trên phần cứng Apple Silicon M3 đạt tốc độ suy luận nhanh hơn và độ trễ thấp hơn. Điều này thể hiện nỗ lực liên tục của dự án llama.cpp trong việc tối ưu hóa hiệu năng phần cứng cho các dòng chip tiêu dùng phổ biến. Bản cập nhật thêm thông số Apple M3 vào fa_vec_tuned_table trong tệp ggml-metal-tuning.cpp, mở rộng hỗ trợ phần cứng Metal cho vector Flash Attention. Bản phát hành này cũng đi kèm các tệp thực thi được biên dịch sẵn trên nhiều nền tảng như macOS, Linux, Windows (CUDA, Vulkan, SYCL), Android và iOS.
## KIẾN THỨC NỀN
llama.cpp là một dự án mã nguồn mở phổ biến giúp chạy suy luận các mô hình ngôn ngữ lớn hiệu quả trên phần cứng cá nhân bằng ngôn ngữ C và C++. Metal là API đồ họa và tính toán cấp thấp của Apple, hỗ trợ xử lý hiệu năng cao trên GPU Apple Silicon. Flash Attention là một thuật toán tối ưu hóa bộ nhớ cho cơ chế attention, giúp tăng tốc độ xử lý mô hình transformer bằng cách giảm các thao tác đọc/ghi không cần thiết trên bộ nhớ.