Kiến trúc mô hình Minimax M3.1 Flash được tiết lộ là mô hình MoE 428B
MiniMax đã tiết lộ thông qua trang FAQ chính thức rằng mô hình M3.1 Flash có tổng số tham số khổng lồ lên tới 428 tỷ với 23 đường dẫn hoạt động. Thông số kỹ thuật này trước đó đã vắng mặt trong hầu hết các thông báo công khai ban đầu của họ. Việc hiểu rõ số lượng tham số chính xác và cấu hình đường dẫn hoạt động giúp các nhà phát triển và những người đam mê LLM cục bộ đánh giá các yêu cầu phần cứng cần thiết để chạy hoặc lưu trữ mô hình. Điều này xác nhận rằng mô hình quá lớn đối với các thiết lập phần cứng phổ thông như cấu hình hai card đồ họa RTX 3090. Mô hình được xây dựng bằng cách sử dụng kiến trúc Hỗn hợp Chuyên gia (MoE), mặc dù tổng kích thước khổng lồ 428 tỷ tham số khiến việc triển khai cục bộ trở nên bất thực tế đối với người dùng thông thường. Các chi tiết thông số kỹ thuật đã được phát hiện cụ thể ở phần đầu của trang hỏi đáp xem trước.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn thường sử dụng kiến trúc Hỗn hợp Chuyên gia (MoE), trong đó tổng số lượng tham số khổng lồ được chia thành các tập hợp con nhỏ hơn gọi là chuyên gia, nhưng chỉ một phần nhỏ các tham số này được sử dụng tích cực cho mỗi token hoặc từ được tạo ra. Sự kích hoạt thưa thớt này cho phép các mô hình đạt được hiệu suất và dung lượng cao trong khi vẫn duy trì chi phí tính toán có thể quản lý được trong quá trình suy luận so với các mô hình dày đặc có cùng tổng kích thước.