Cộng đồng LocalLLaMA đánh giá mô hình K2-Horizon-MoVA-36B-A4B mới của IFM

Các thành viên trong cộng đồng LocalLLaMA đang tìm kiếm phản hồi và so sánh thực tế về hiệu năng của mô hình mã nguồn mở K2-Horizon-MoVA-36B-A4B mới phát hành từ IFM. Mô hình này sở hữu kiến trúc kết hợp giữa các lớp Mixture-of-Experts (MoE) thưa và cơ chế Mixture-of-Vector-Attention (MoVA) mới. Khi AI mã nguồn mở chuyển sang các thiết kế kết hợp MoE và cơ chế chú ý thưa, việc xác minh độc lập từ người dùng là rất cần thiết để đảm bảo điểm số benchmark cao phản ánh đúng chất lượng lập trình thực tế. Việc đánh giá mô hình chỉ kích hoạt khoảng 4 tỷ trên tổng số 37 tỷ tham số giúp các nhà phát triển chạy mô hình năng lực cao một cách hiệu quả trên phần cứng thương mại. Mô hình K2-Horizon-MoVA-36B-A4B lưu trữ khoảng 37,4 tỷ tham số nhưng chỉ kích hoạt khoảng 4 đến 6 tỷ tham số cho mỗi token. Người dùng đang đánh giá hiệu năng của nó trên các bài kiểm tra terminal và so sánh năng lực với các mô hình phổ biến như dòng Qwen.