ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12370 Cùng Tối Ưu Hóa GCN MMQ
Bản phát hành b12370 của llama.cpp giới thiệu các tinh chỉnh hiệu năng cụ thể cho cấu hình GCN MMQ trong phần phụ trợ ggml-cuda/HIP, đi kèm với các gói tệp nhị phân đa nền tảng định kỳ. Bản cập nhật này bao gồm các cải tiến cho nhiều kiến trúc phần cứng và hệ điều hành khác nhau, tiếp tục duy trì nhịp độ phát triển nhanh chóng của dự án. Bản cập nhật này giúp nâng cao hiệu suất thực thi và khả năng tương thích phần cứng cho người dùng chạy các mô hình ngôn ngữ lớn trên nhiều kiến trúc GPU đa dạng, đặc biệt là phần cứng AMD sử dụng HIP. Việc mở rộng hỗ trợ đa nền tảng giúp các nhà phát triển dễ dàng triển khai mô hình trên nhiều loại thiết bị từ phổ thông đến doanh nghiệp. Điểm thay đổi đáng chú ý trong bản phát hành này là yêu cầu kéo (pull request) #30021, giúp tối ưu hóa các cấu hình GCN MMQ cho khả năng tăng tốc AMD HIP. Các gói nhị phân dịch sẵn được cung cấp cho macOS, Linux, Windows và Android, bao gồm nhiều phần phụ trợ CPU và GPU khác nhau như CUDA, ROCm, Vulkan và OpenVINO.
## KIẾN THỨC NỀN
llama.cpp là một framework mã nguồn mở phổ biến được thiết kế để cho phép suy luận mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng cấp độ người dùng phổ thông. MMQ (Matrix Multiplication Quantized) đề cập đến các quy trình nhân ma trận độ chính xác thấp chuyên dụng trong công cụ GGML giúp tăng tốc độ suy luận của mô hình đã lượng tử hóa.