Microsoft hoàn thành việc tiền huấn luyện mô hình SOTA MAI-Base-2
Microsoft đã hoàn thành quá trình tiền huấn luyện mô hình nền tảng SOTA thế hệ mới MAI-Base-2, vượt trội hơn tất cả các mô hình mã nguồn mở đã thử nghiệm. Mô hình này sở hữu tổng cộng 2,8 nghìn tỷ tham số với 80 tỷ tham số hoạt động, được huấn luyện trên 6.000 GPU NVIDIA GB200 trong vòng 38 ngày. Dấu mốc này làm nổi bật năng lực AI tự phát triển ngày càng mở rộng của Microsoft, đạt hiệu suất tiền huấn luyện cao hơn từ 4 đến 12 lần so với các mô hình tương đương. Điều này cho thấy tiến bộ đáng kể trong việc đồng thiết kế mô hình - hạ tầng và tối ưu hóa phần cứng bằng kiến trúc Blackwell tiên tiến. Trong chu kỳ huấn luyện 38 ngày, MAI-Base-2 duy trì tỷ lệ tận dụng phép tính dấu phẩy động trung bình là 21% và thông lượng hiệu dụng đạt 89%. Microsoft quy sự thành công này cho việc mở rộng quy mô khoa học, đồng thiết kế mô hình - hạ tầng và mở rộng quy mô dữ liệu, đồng thời đã khởi động công tác chuẩn bị cho MAI-Base-3.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn thường được xây dựng dựa trên kiến trúc Hỗn hợp chuyên gia (MoE), chỉ kích hoạt một tập hợp con các tham số cho mỗi token nhất định nhằm cải thiện hiệu quả tính toán. Vi kiến trúc Blackwell của NVIDIA và các hệ thống GB200 đại diện cho phần cứng trung tâm dữ liệu tiên tiến được thiết kế để tăng tốc các khối lượng công việc AI nặng và quá trình huấn luyện mô hình quy mô lớn.