ggerganov/llama.cpp Phát Hành Bản b11985 Cải Thiện Hiệu Suất Apple Metal
Bản phát hành llama.cpp b11985 giới thiệu các tối ưu hóa hiệu suất quan trọng cho Apple Metal, bao gồm kernel nhân ma trận-véc-tơ MXFP4 nhanh hơn và cải thiện việc tận dụng threadgroup cho các phép toán unary, binary và GLU. Các cập nhật này loại bỏ sự phụ thuộc vào bộ nhớ threadgroup khi giải mã MXFP4 và phân bổ khối lượng công việc trên nhiều threadgroup để nâng cao hiệu suất phần cứng. Những tối ưu hóa này mang lại tốc độ suy luận mô hình ngôn ngữ lớn cục bộ nhanh hơn cho người dùng chạy mô hình trên phần cứng Apple Silicon thông qua backend Metal. Các cải tiến hiệu suất liên tục này giúp duy trì vị thế của llama.cpp như một cỗ máy cốt lõi cho các công cụ AI chạy cục bộ. Kernel MXFP4 mới giải mã các giá trị fp4 bằng mẹo bit fp16 thay vì dùng bảng tra cứu threadgroup và tải các nibble được nén dưới dạng từ 32-bit căn chỉnh. Ngoài ra, các phép toán unary và binary liên tục nay khởi chạy với tối đa 256 luồng mỗi threadgroup, và các hàng GLU được chia nhỏ qua các threadgroup thay vì chạy trên một threadgroup duy nhất.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để chạy suy luận trên các mô hình ngôn ngữ lớn một cách hiệu quả bằng cách sử dụng tài nguyên phần cứng cục bộ như CPU và GPU. Apple Metal là giao diện lập trình đồ họa và tính toán độc quyền của Apple, cho phép các nhà phát triển tận dụng tối đa sức mạnh của GPU Apple Silicon cho các tác vụ học máy.