Phát Hành Các Bản Lượng Hóa GGUF Cho Dòng Mô Hình AI K2-Horizon Của IFM

Các bản lượng hóa định dạng GGUF cho dòng mô hình K2-Horizon của IFM—với kích thước từ 0,9B đến 36B tham số—đã được phát hành trên Hugging Face. Người dùng suy luận cục bộ hiện có thể truy cập các biến thể GGUF cho các quy mô mô hình 0,9B, 3,7B, 7B, 32B và MoVA-36B. Việc phát hành các bản lượng hóa GGUF giúp dòng mô hình mã nguồn mở mới của IFM tiếp cận được với người dùng phần cứng phổ thông nhờ giảm đáng kể yêu cầu dung lượng RAM và VRAM. Điều này cho phép cộng đồng phát triển và yêu thích AI mã nguồn mở chạy thử nghiệm cũng như đánh giá các mô hình này cục bộ mà không cần phần cứng doanh nghiệp chuyên dụng. Do việc tích hợp chính thức vào kho lưu trữ llama.cpp gốc vẫn đang trong quá trình chờ phê duyệt, người dùng hiện phải chạy các tệp GGUF này bằng một bản fork llama.cpp tùy chỉnh. Các mô hình được tải lên bao gồm cả cấu trúc mô hình đặc (dense) tiêu chuẩn lẫn mô hình MoVA-36B sử dụng kiến trúc Mixture-of-Experts.