llama.cpp Phát Hành Bản b11388 Bổ Sung Thống Kê Activation Cho GGUF Imatrix
llama.cpp đã phát hành phiên bản b11388, bổ sung tính năng tính toán thống kê dựa trên activation cho các tầm quan trọng ma trận (imatrix) dạng GGUF và tái cấu trúc xử lý mô hình nháp (draft model) thông qua llama_batch_ext. Bản cập nhật này giúp các nhà phát triển đánh giá chính xác hơn hành vi kích hoạt (activation) trong quá trình nén mô hình (quantization), từ đó nâng cao chất lượng cho các mô hình GGUF định lượng. Nó cũng cải tiến việc xử lý mô hình nháp để hỗ trợ quy trình suy luận đầu cơ (speculative decoding) hiệu quả hơn trên các thiết bị chạy AI cục bộ. Phiên bản này bổ sung các chỉ số đo lường như Euclidean–Cosine Score (ECS), điểm ZD hai phía và chuẩn L2 theo từng lớp thông qua cờ --activation-statistics mới để tránh làm tăng gấp đôi dung lượng tệp imatrix mặc định. Ngoài ra, việc xử lý các tệp mô hình nháp NextN bên ngoài (-md / --model-draft) đã được cập nhật để tận dụng cấu trúc llama_batch_ext.
## KIẾN THỨC NỀN
llama.cpp là một khung làm việc mã nguồn mở phổ biến giúp chạy các mô hình ngôn ngữ lớn cục bộ trên phần cứng cá nhân thông qua định dạng tệp GGUF. Để tối ưu hóa kích thước mô hình mà vẫn giữ nguyên chất lượng phản hồi, dự án sử dụng các kỹ thuật định lượng (quantization) dựa trên ma trận tầm quan trọng (imatrix) để hiệu chuẩn mức độ quan trọng của trọng số. Khung làm việc này cũng hỗ trợ suy luận đầu cơ (speculative decoding), tức sử dụng một mô hình nháp (draft model) nhỏ hơn để dự đoán token tiếp theo nhằm tăng tốc độ sinh văn bản trên mô hình chính.