Xiaomi Ra Mắt Mô Hình Nguồn Mở MiMo-V2.6-Pro 1T-A42B Với Chi Phí Huấn Luyện 3 Triệu USD
Xiaomi đã phát hành MiMo-V2.6-Pro 1T-A42B, một mô hình ngôn ngữ lớn mở trọng số hàng đầu với kiến trúc 1 nghìn tỷ tham số. Đáng chú ý, công ty đạt được năng lực AI hàng đầu thế giới chỉ với ngân sách huấn luyện tiết kiệm là 3 triệu USD. Sự kiện này khẳng định vị thế của Xiaomi như một phòng thí nghiệm AI hàng đầu, đồng thời chứng minh hiệu quả chi phí vượt trội khi huấn luyện mô hình quy mô lớn. Nó cung cấp cho cộng đồng nguồn mở một mô hình AI tiên tiến, giúp hạ thấp rào cản nghiên cứu và triển khai AI hiệu năng cao. Ký hiệu '1T-A42B' của mô hình đại diện cho tổng số 1 nghìn tỷ tham số với 42 tỷ tham số hoạt động trên mỗi token, mang đặc trưng của kiến trúc Mixture-of-Experts (MoE). Chi phí huấn luyện 3 triệu USD cho thấy sự tối ưu hóa vượt trội về mặt thuật toán và hạ tầng tính toán của đội ngũ AI tại Xiaomi.
## KIẾN THỨC NỀN
Các mô hình mở trọng số (open-weights) cho phép nhà phát triển và nghiên cứu tự do tải trọng số mô hình về chạy trên hạ tầng riêng. Kiến trúc Mixture-of-Experts (MoE) giúp mở rộng tổng số tham số lên cực lớn nhưng vẫn giữ chi phí suy luận ở mức thấp bằng cách chỉ định tuyến mỗi token đến một phần nhỏ tham số hoạt động.