ggerganov/llama.cpp Phát Hành Phiên Bản b12327 Cải Tiến Nhân SpacemiT Q4_1
Dự án llama.cpp vừa phát hành phiên bản b12327, mang đến các cải tiến về phân phối nhân hiệu năng cao (HP) SpacemiT Q4_1 cùng với các cập nhật định kỳ khác. Bản cập nhật này tích hợp đường dẫn đóng gói 32x256 để dùng chung nhân hiệu năng cao tối ưu với Q4_0. Các cập nhật nhân chuyên biệt theo phần cứng này giúp nâng cao hiệu quả và hiệu suất suy luận trên các kiến trúc chip mục tiêu. Chúng góp phần đảm bảo khả năng tương thích thiết bị rộng rãi hơn và tốc độ thực thi nhanh hơn cho các mô hình ngôn ngữ lớn chạy cục bộ. Thay đổi này định tuyến cụ thể SpacemiT Q4_1 32x256 qua nhân HP trong khi vẫn duy trì một điểm zero uint8 riêng biệt. Bản phát hành bao gồm các gói xây dựng trên nhiều nền tảng khác nhau như macOS, Windows và Linux với nhiều hỗ trợ phần phụ trợ đa dạng.
## KIẾN THỨC NỀN
llama.cpp là một thư viện mã nguồn mở phổ biến cho phép suy luận cục bộ hiệu quả các mô hình ngôn ngữ lớn thông qua thư viện tensor GGML. Các định dạng lượng tử hóa như Q4_0 và Q4_1 giúp giảm dung lượng bộ nhớ của mô hình bằng cách nén trọng số xuống biểu diễn 4-bit.