Moonshot AI phát hành mô hình trọng số mở Kimi K3.1 Pro 2.800 tỷ tham số
Moonshot AI đã chính thức phát hành trọng số mã nguồn mở cho mô hình Kimi K3.1 Pro với 2.800 tỷ tham số trên nền tảng Hugging Face, vươn lên dẫn đầu bảng xếp hạng các mô hình mở trên Agent Arena. Mô hình đạt hiệu suất hàng đầu trong các danh mục công việc, lập trình và trò chuyện, dựa trên đánh giá từ hơn 17.500 phiên tác vụ thông minh thực tế của người dùng. Bản phát hành này cung cấp cho cộng đồng mã nguồn mở một mô hình siêu lớn có khả năng cạnh tranh trực tiếp với các hệ thống độc quyền hàng đầu trong các quy trình làm việc tự động và chuẩn mực lập trình. Đây là một cột mốc quan trọng đối với các mô hình mở trong việc xử lý các tác vụ dài hạn và thực thi nhiều bước phức tạp. Kimi K3.1 Pro sử dụng kiến trúc hỗn hợp chuyên gia (MoE) với tổng số 2.800 tỷ tham số, kích hoạt khoảng 104 tỷ tham số mỗi lần suy luận và hỗ trợ cửa sổ ngữ cảnh khoảng 1 triệu token. Tuy nhiên, kích thước tệp khổng lồ của mô hình đòi hỏi khoảng 1,4TB dung lượng lưu trữ ngay cả khi sử dụng lượng tử hóa INT4, khiến việc triển khai cục bộ trên phần cứng tiêu dùng thông thường là không khả thi.
## KIẾN THỨC NỀN
Agent Arena đánh giá các mô hình AI bằng cách trích xuất tín hiệu từ các phiên tác vụ thông minh của người dùng thực tế thay vì các bài kiểm tra mù truyền thống, từ đó ước tính tỷ lệ cải thiện ròng bằng phương pháp suy luận ngẫu nhiên gọi là truy vết nhân quả. Kiến trúc hỗn hợp chuyên gia (MoE) là một thiết kế mạng thần kinh giúp cải thiện hiệu suất bằng cách định tuyến dữ liệu đầu vào đến các mô hình con hoặc chuyên gia khác nhau thay vì kích hoạt toàn bộ mạng.