Kimi K3 sau ba tháng: Quá lớn để chạy cục bộ khi các mô hình đối thủ đã bắt kịp
Ba tháng sau khi phát hành, mô hình Kimi K3 với 2,8 nghìn tỷ tham số vẫn chưa thực tế cho việc triển khai cục bộ do kích thước toàn bộ lên tới 1,56 TB và yêu cầu phần cứng cực lớn, trong khi các mô hình mới hơn như GLM-5.3 và Step 5 Preview đã bắt kịp điểm số chuẩn của nó. Đánh giá này làm nổi bật nút cổ chai phần cứng dai dẳng trong việc chạy các mô hình Hỗn hợp Chuyên gia (MoE) trọng lượng mở khổng lồ tại nhà, đồng thời cho thấy các mô hình nhỏ hơn và hiệu quả hơn đang thu hẹp khoảng cách hiệu suất nhanh chóng như thế nào. Ngay cả với số lượng tham số hoạt động là 104B, toàn bộ 2,8 nghìn tỷ tham số vẫn phải được tải vào bộ nhớ, đòi hỏi mức định lượng tối thiểu được khuyến nghị gần 600 GB RAM và VRAM. Hơn nữa, giấy phép thương mại của mô hình này áp đặt các hạn chế về doanh thu, đòi hỏi phải có thỏa thuận riêng đối với các công ty kiếm được hơn 20 triệu USD.
## KIẾN THỨC NỀN
Hỗn hợp Chuyên gia (MoE) là kiến trúc mạng nơ-ron trong đó chỉ một tập hợp con tham số, gọi là tham số hoạt động, được sử dụng để xử lý từng token, giúp tăng tốc độ suy luận trong khi tổng số tham số quyết định dung lượng bộ nhớ. Định lượng làm giảm độ chính xác của trọng số mô hình để tiết kiệm bộ nhớ, và định lượng 1-bit hoặc bit thấp đại diện cho các kỹ thuật nén cực đoan làm giảm đáng kể yêu cầu phần cứng nhưng có nguy cơ mất độ chính xác.