Huawei công bố hỗ trợ tức thì dòng chip Ascend cho mô hình Kimi K3 2,8 nghìn tỷ tham số của Moonshot AI
Huawei đã công bố hỗ trợ tức thì ("0day") cho việc huấn luyện và suy luận mô hình Kimi K3 với 2,8 nghìn tỷ tham số vừa được mã nguồn mở của Moonshot AI trên nền tảng phần cứng Ascend. Quá trình huấn luyện được điều chỉnh thông qua MindSpeed MM trên các hệ thống Atlas 800 và 900 A3, trong khi việc suy luận được triển khai bằng vLLM và SGLang. Sự thích ứng nhanh chóng này thể hiện sự trưởng thành ngày càng cao của hệ sinh thái phần cứng và phần mềm AI nội địa Trung Quốc, chứng minh khả năng hỗ trợ các mô hình quy mô lớn lên tới 3 nghìn tỷ tham số. Nó cũng làm nổi bật xu hướng chuyển dịch của ngành sang các định dạng độ chính xác cực thấp như MXFP4 để giúp triển khai các mô hình khổng lồ hiệu quả hơn về mặt tính toán. Siêu nút Ascend 950 hỗ trợ gốc các định dạng độ chính xác số bao gồm FP8, MXFP8 và MXFP4, cho phép tương thích trực tiếp với các trọng số lượng hóa mxFP4 của Kimi K3. Ngoài ra, Moonshot AI cũng đã mã nguồn mở các thư viện cơ sở hạ tầng quan trọng cùng với mô hình, bao gồm MoonEP cho song song hóa chuyên gia (expert parallelism) và AgentEnv cho học tăng cường.
## KIẾN THỨC NỀN
Kimi K3 là một mô hình dạng hỗn hợp chuyên gia (MoE) khổng lồ được thiết kế cho các tác vụ suy luận nâng cao và xử lý ngữ cảnh dài. Để huấn luyện và vận hành các mô hình lớn như vậy một cách hiệu quả, các bộ tăng tốc phần cứng dựa vào các định dạng số có độ chính xác thấp như MXFP4 để giảm mức sử dụng bộ nhớ, cùng với các thư viện truyền thông chuyên dụng như MoonEP để cân bằng tải công việc giữa nhiều chip.