Mistral AI phát hành mô hình Mistral Large 4 với 1 nghìn tỷ tham số
Mistral AI đã chính thức phát hành trọng số của Mistral Large 4, một mô hình đa phương thức bản địa có 1 nghìn tỷ tham số được huấn luyện trên GPU NVIDIA Grace Blackwell. Mô hình này đạt điểm số 48% trên Chỉ số Tác nhân Lập trình Phân tích Nhân tạo (Artificial Analysis Coding Agent Index) trong khi sử dụng ít hơn 47% token cho mỗi tác vụ so với các mô hình cạnh tranh. Sự ra mắt này đánh dấu một cột mốc quan trọng đối với sự phát triển AI mã nguồn mở tại châu Âu, cung cấp cho các nhà phát triển một mô hình biên hiệu suất cao với khả năng tối ưu hóa token cho các tác nhân lập trình. Nó củng cố vị thế của Mistral AI như một lực lượng cạnh tranh hàng đầu trong bức tranh AI toàn cầu. Mistral Large 4 sử dụng kiến trúc Hỗn hợp Chuyên gia (Mixture-of-Experts) với 52 tỷ tham số hoạt động trên tổng số 1,05 nghìn tỷ tham số. Mô hình được cấp phép theo giấy phép MIT sửa đổi cho phép sử dụng miễn phí cho mục đích cá nhân, học thuật và thương mại thông thường, trong khi các nhà cung cấp dịch vụ đám mây cung cấp Dịch vụ Mô hình (MaaS) phải xin giấy phép thương mại riêng.
## KIẾN THỨC NỀN
Mistral AI là một công ty trí tuệ nhân tạo nổi tiếng của Pháp được thành lập vào năm 2023, tập trung phát triển các mô hình ngôn ngữ lớn có trọng số mở nhằm thúc đẩy chủ quyền số của châu Âu. Hỗn hợp Chuyên gia (Mixture-of-Experts - MoE) là một kiến trúc học máy trong đó chỉ một tập hợp con các tham số mạng nơ-ron (tham số hoạt động) được kích hoạt cho mỗi token, cho phép các mô hình mở rộng tổng dung lượng trong khi vẫn duy trì chi phí suy luận hiệu quả.