Moore Threads tương thích GPU MTT S5000 với mô hình Kimi K3 2,8 nghìn tỷ tham số
Moore Threads đã công bố hỗ trợ ngay lập tức ("Day-0") cho mô hình Kimi K3 với 2,8 nghìn tỷ tham số vừa được mã nguồn mở của Moonshot AI, sử dụng GPU MTT S5000 và kho phần mềm MUSA. Quá trình tương thích bao gồm phân tích cấu trúc mô hình, tải trọng số, các toán tử cốt lõi và thực thi phân tán. Thành tựu này thể hiện khả năng thích ứng nhanh chóng của hệ sinh thái phần cứng và phần mềm AI nội địa Trung Quốc đối với các kiến trúc mô hình lai quy mô lớn và phức tạp. Nó giúp giảm sự phụ thuộc vào phần cứng nước ngoài bằng cách chứng minh rằng GPU nội địa có thể hỗ trợ các mô hình Mixture-of-Experts (MoE) hàng đầu với hàng nghìn tỷ tham số. GPU MTT S5000 sở hữu sức mạnh tính toán AI dạng đặc (dense AI compute) lên tới 1000 TFLOPS và bộ nhớ VRAM 80GB. Để hỗ trợ kiến trúc độc đáo của Kimi K3, Moore Threads đã điều chỉnh Triton MUSA cho cơ chế Kimi Delta Attention (KDA) và tích hợp DeepEP để xử lý việc phân phối token (token dispatch) cũng như truyền thông tin trên cấu trúc MoE gồm 896 chuyên gia.
## KIẾN THỨC NỀN
Kimi Delta Attention (KDA) là một cơ chế chú ý tuyến tính được tối ưu hóa cho phần cứng giúp cải thiện hiệu quả bộ nhớ và giảm mức sử dụng KV cache. MUSA (Meta-computing Unified System Architecture) là kho phần mềm độc quyền của Moore Threads được thiết kế để thay thế CUDA, trong khi DeepEP là thư viện truyền thông chuyên dụng được tối ưu hóa cho các mô hình Mixture-of-Experts (MoE).