ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12088 Hỗ Trợ NVFP4 LFM3 GGUF
Bản phát hành b12088 của llama.cpp chính thức bổ sung khả năng hỗ trợ cho các mô hình NVFP4 LFM3 GGUF. Bản cập nhật này giới thiệu mã nguồn triển khai cụ thể để xử lý định dạng lượng tử hóa độ chính xác thấp này trong khung thời gian chạy. Cập nhật này mở rộng khả năng tối ưu hóa LLM cục bộ bằng cách tích hợp các định dạng lượng tử hóa độ chính xác thấp hiện đại. Nó cho phép người dùng chạy các mô hình chuyên biệt một cách hiệu quả hơn trên các kiến trúc phần cứng tương thích. Bản phát hành được theo dõi thông qua yêu cầu kéo (pull request) #31608 và bao gồm các tệp nhị phân cũng như thư viện được biên dịch sẵn cho nhiều nền tảng khác nhau như macOS, Linux, Android và Windows.
## KIẾN THỨC NỀN
GGUF là định dạng tệp nhị phân được thiết kế để lưu trữ các mô hình nhằm tải và suy luận nhanh chóng bằng cách sử dụng các môi trường chạy dựa trên GGML như llama.cpp. NVFP4 là định dạng dấu phẩy động 4-bit do NVIDIA giới thiệu nhằm mang lại hiệu quả và độ chính xác cao cho việc suy luận AI độ chính xác thấp, được thiết kế riêng cho các lõi Tensor Cores của Blackwell.