ggerganov/llama.cpp Phát Hành Bản Xây Dựng b12223 Hỗ Trợ Granite NVFP4
Bản phát hành b12223 của llama.cpp bổ sung tính năng đính kèm các thang đo trọng số Granite NVFP4 và truyền các thang đo NVFP4 qua quá trình xây dựng mạng chuyển tiếp (feed-forward network) cho tất cả các kiến trúc Granite. Bản phát hành này mở rộng khả năng chạy cục bộ cho các định dạng trọng số mô hình chuyên biệt, giúp các kỹ sư và nhà phát triển chạy các mô hình đã lượng tử hóa một cách hiệu quả trên phần cứng thông thường hoặc phần cứng biên. Bản cập nhật nhắm cụ thể vào các kiến trúc mô hình Granite thuộc nhánh 'granite-nvfp4-moe-scales' và được đóng góp bởi các nhà phát triển từ IBM.
## KIẾN THỨC NỀN
Llama.cpp là một thư viện phần mềm mã nguồn mở được thiết kế để cho phép suy luận mô hình ngôn ngữ lớn một cách hiệu quả trên phần cứng phổ thông với cấu hình tối thiểu. Lượng tử hóa làm giảm kích thước mô hình và yêu cầu bộ nhớ bằng cách chuyển đổi các trọng số có độ chính xác cao thành các định dạng ít bit hơn, chẳng hạn như NVFP4.