Trung Quốc Điện Tín và Huawei ra mắt mô hình AI mã nguồn mở Xing4.0-29B
Trung Quốc Điện Tín (China Telecom) và Huawei đã chính thức ra mắt Xing4.0-29B-A4B, một mô hình đại lý mã nguồn mở dạng Mixture-of-Experts (MoE) sở hữu tổng cộng 29 tỷ tham số với 4 tỷ tham số được kích hoạt. Đây là mô hình hàng chục tỷ tham số đầu tiên tại Trung Quốc được huấn luyện nguyên sinh trên siêu nút tản nhiệt chất lỏng Ascend Atlas 900 A3 SuperPoD của Huawei cùng khung làm việc MindSpore. Sự kiện này đánh dấu bước tiến quan trọng trong hệ sinh thái AI nội địa của Trung Quốc, chứng minh khả năng huấn luyện mô hình hiệu năng cao hoàn toàn độc lập với phần cứng NVIDIA và các khung phần mềm phương Tây. Việc mở mã nguồn trên các nền tảng như GitHub và HuggingFace mang đến cho các nhà phát triển một agent gọn nhẹ nhưng mạnh mẽ cho việc lập trình, lập kế hoạch tác vụ và phân tích ngữ cảnh dài. Nhờ tối ưu hóa đồng bộ giữa phần mềm và phần cứng—bao gồm cơ chế chú ý Multi-head Latent Attention (MLA), toán tử hợp nhất mHC và MoE hạt mịn (64 tuyến / kích hoạt Top4)—hiệu suất huấn luyện trên cụm Ascend đã tăng 96%. Mô hình hỗ trợ độ dài ngữ cảnh mở rộng lên tới 256K token và áp dụng học tăng cường đa chuyên gia cho các tác vụ suy luận và thực thi nhiều bước.
## KIẾN THỨC NỀN
Mô hình Mixture-of-Experts (MoE) định tuyến dữ liệu đầu vào đến các mạng con chuyên biệt, chỉ kích hoạt một phần nhỏ tham số trong quá trình suy luận để duy trì tốc độ cao và giảm chi phí tính toán. Cơ chế Multi-head Latent Attention (MLA) nén bộ nhớ đệm KV (Key-Value), giúp việc xử lý ngữ cảnh dài trở nên tiết kiệm tài nguyên hơn. Siêu nút Ascend Atlas 900 A3 SuperPoD của Huawei là hạ tầng siêu máy tính AI nội địa có khả năng kết nối hàng trăm chip Ascend thành một hệ thống tính toán thống nhất.