Siêu nút Zhenwu M890 của Alibaba Cloud hỗ trợ mô hình Kimi K3 của Moonshot AI
Alibaba Cloud thông báo thực thể siêu nút Lingjun Zhenwu M890, sử dụng chip AI của T-Head, đã đạt được khả năng tương thích Day0 cho mô hình MoE Kimi K3 với 2,8 nghìn tỷ tham số của Moonshot AI. Sự thích ứng này tận dụng các tối ưu hóa liên kết giữa phần cứng, ngăn xếp phần mềm và khung suy luận để nâng cao hiệu suất suy luận. Cột mốc này chứng minh khả năng của hệ sinh thái phần cứng và phần mềm AI nội địa Trung Quốc trong việc hỗ trợ các mô hình Hỗn hợp chuyên gia (MoE) khổng lồ với hàng nghìn tỷ tham số. Nó nêu bật một giải pháp thay thế ngày càng phát triển cho ngăn xếp phần cứng thống trị của Nvidia bằng cách cung cấp các kết nối tốc độ cao và khả năng tương thích phần mềm. Siêu nút Zhenwu M890 tích hợp chip kết nối ICN Switch 1.0, cho phép 64 chip M890 đạt tốc độ kết nối All-to-All 800 GB/s với dung lượng bộ nhớ VRAM lên tới 9TB. Ngoài ra, ngăn xếp phần mềm T-Head SAIL cho phép khung suy luận Mooncake của Kimi chạy ngay lập tức, trong khi hỗ trợ Triton gốc giúp loại bỏ nhu cầu viết lại các toán tử tùy chỉnh.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn sử dụng kiến trúc Hỗn hợp chuyên gia (MoE) đòi hỏi bộ nhớ khổng lồ và giao tiếp băng thông cao để định tuyến các token đến các mạng con "chuyên gia" khác nhau. T-Head (Bình Đầu Ca) là bộ phận bán dẫn của Alibaba, gần đây đã mã nguồn mở ngăn xếp phần mềm SAIL của mình để cạnh tranh với CUDA của Nvidia, trong khi Mooncake là khung suy luận phân tán hiệu năng cao chuyên dụng của Moonshot AI.