Bản phát hành llama.cpp b12028 bổ sung hỗ trợ kiến trúc Gemma 4
Bản phát hành llama.cpp b12028 giới thiệu tính năng hỗ trợ kiến trúc và khả năng kiểm thử cho Gemma 4 trong bộ công cụ test-llama-archs cùng với các bản dựng nhị phân đa nền tảng tiêu chuẩn. Bản cập nhật này cấu hình cụ thể khung kiểm thử để sử dụng cơ chế Grouped-Query Attention (GQA) cho Gemma 4. Bản cập nhật này đảm bảo các nhà phát triển có thể kiểm thử và xác thực đúng cách các mô hình Gemma 4 bằng thư viện suy luận cục bộ đạt chuẩn ngành. Việc duy trì tính tương thích kiến trúc nhanh chóng giúp cộng đồng mã nguồn mở chạy hiệu quả các mô hình mới nổi trên phần cứng người dùng phổ thông. Yêu cầu kéo (pull request) này kích hoạt cụ thể việc xác thực Gemma 4 trong bộ công cụ `test-llama-archs` bằng cách tích hợp khả năng xử lý GQA. Các gói phát hành chuẩn được cung cấp trên nhiều nền tảng bao gồm macOS, Linux (với các phụ trợ CUDA và Vulkan khác nhau), Android và Windows.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến cho phép suy luận hiệu quả các mô hình ngôn ngữ lớn bằng ngôn ngữ C và C++. Grouped-Query Attention (GQA) là một phương pháp tối ưu hóa cơ chế chú ý giúp giảm nhu cầu băng thông bộ nhớ trong quá trình suy luận, giúp các mô hình chạy nhanh hơn.