llama.cpp Phát Hành Phiên Bản b11927 Bổ Sung Kernel Mask Top-K Hợp Nhất Cho Metal
Phiên bản b11927 của llama.cpp giới thiệu kernel GGML_OP_TOP_K_MASK cho backend Apple Metal, chuyển đổi các tối ưu hóa hiệu năng vốn trước đây chỉ có trên CUDA. Căn cứ vào bản cập nhật, việc triển khai này sử dụng một kernel sải bước lưới để khởi tạo đầu ra và một nhóm luồng trên mỗi hàng để sao chép các giá trị mặt nạ cần thiết. Bản cập nhật này giúp thu hẹp khoảng cách hiệu năng giữa phần cứng Apple Silicon và NVIDIA đối với việc chạy mô hình ngôn ngữ lớn cục bộ. Người dùng máy Mac chạy mô hình tại chỗ có thể kỳ vọng cải thiện hiệu suất trong các hoạt động chú ý hoặc lọc cụ thể của chu trình tạo văn bản. Các hằng số hàm được tận dụng để loại bỏ các điểm số, khối và đường dẫn thừa không sử dụng, giúp giảm chi phí tính toán cho các đồ thị thực thi. Việc tối ưu hóa này đã được kiểm tra và hỗ trợ sử dụng một máy MacBook trang bị chip M5 Max cùng 128GB bộ nhớ chạy một biến thể mô hình Qwen.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để thực hiện suy luận hiệu quả trên các mô hình ngôn ngữ lớn với thiết lập tối thiểu trên nhiều backend phần cứng khác nhau. Backend Metal cho phép llama.cpp khai thác trực tiếp GPU Apple Silicon, trong khi GGUF đóng vai trò là định dạng tệp tiêu chuẩn để phân phối các mô hình đã lượng tử hóa.