Huawei mã nguồn mở mô hình openPangu-2.0-Pro MoE 505 tỷ tham số
Huawei đã chính thức mã nguồn mở mô hình ngôn ngữ Mixture of Experts (MoE) 505 tỷ tham số mang tên openPangu-2.0-Pro, bao gồm trọng số mô hình, mã nguồn suy luận và báo cáo kỹ thuật. Mô hình này được tối ưu hóa cho hệ sinh thái Ascend NPU của Huawei và hỗ trợ độ dài ngữ cảnh lên tới 512k. Việc phát hành này cung cấp cho cộng đồng AI mã nguồn mở một mô hình MoE quy mô lớn, cấp độ sản xuất được thiết kế riêng cho phần cứng không phải của NVIDIA, thúc đẩy tính khả thi của hệ sinh thái Ascend của Huawei. Điều này thể hiện cam kết của Huawei đối với AI mã nguồn mở, đồng thời mang đến cho các nhà phát triển một giải pháp thay thế mạnh mẽ để triển khai mô hình quy mô lớn. Mô hình sở hữu các nâng cấp về kiến trúc bao gồm cơ chế Chú ý Ẩn Đa đầu (MLA) kết hợp với cấu trúc lai DSA+SWA, kết nối phần dư mHC 4 nhánh và mô-đun Dự đoán Đa token (MTP) 3 đầu để suy luận nhanh hơn. Mặc dù có tổng cộng 505 tỷ tham số, mô hình chỉ kích hoạt 18 tỷ tham số cho mỗi token, giúp giảm đáng kể chi phí tính toán.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là một kỹ thuật học máy sử dụng nhiều mạng con chuyên biệt ('chuyên gia') để xử lý các đầu vào khác nhau, cho phép các mô hình mở rộng tham số mà không làm tăng tỷ lệ thuận chi phí tính toán. Cơ chế Chú ý Ẩn Đa đầu (MLA), được phổ biến bởi các mô hình như DeepSeek, nén bộ nhớ đệm Key-Value (KV cache) để nâng cao hiệu suất suy luận. Trong khi đó, Ascend NPU là các bộ xử lý AI độc quyền của Huawei được thiết kế để cung cấp cơ sở hạ tầng tính toán thay thế cho GPU của NVIDIA.