Huawei Ascend công bố hỗ trợ '0 Day' cho mô hình MoE Kimi K3.1 Pro
Huawei đã công bố hỗ trợ phần cứng và framework Ascend '0 Day' cho việc triển khai suy luận của mô hình MoE Kimi K3.1 Pro 2,8 nghìn tỷ tham số từ Moonshot AI. Việc tích hợp này đã được thực hiện đồng thời thông qua vLLM Ascend và SGLang để hỗ trợ các sản phẩm như Atlas 800 A3 và Atlas 900 A3 SuperPod. Sự phát triển này cho thấy sự tối ưu hóa phần cứng và phần mềm mạnh mẽ giữa phần cứng AI nội địa của Trung Quốc và các mô hình đa phương thức quy mô lớn tiên tiến. Điều này cho phép người dùng và nhà phát triển triển khai và kiểm chứng các mô hình khổng lồ 2,8 nghìn tỷ tham số ngay trong ngày ra mắt. Mô hình K3.1 Pro sở hữu kiến trúc chú ý tuyến tính hỗn hợp kết hợp các lớp chú ý thưa thớt KDA và DSA, đòi hỏi phải tối ưu hóa việc thực thi toán tử và giao tiếp giữa các thẻ. Nhóm suy luận của Huawei đã hoàn thành đường dẫn chú ý thưa thớt và thích ứng suy luận đa phương thức tận dụng kinh nghiệm từ Kimi K3 trước đó.
## KIẾN THỨC NỀN
Huawei Ascend là hệ sinh thái cơ sở hạ tầng điện toán AI được xây dựng xung quanh bộ xử lý Ascend, bao gồm kiến trúc điện toán dị thể CANN, chuỗi công cụ phát triển và các sản phẩm phần cứng như máy chủ và cụm Atlas. MoE (Mixture of Experts - Mô hình hỗn hợp chuyên gia) là một kỹ thuật học máy chia không gian tác vụ thành nhiều tác vụ con do các mạng con chuyên biệt đảm nhiệm, giúp mở rộng tham số mô hình một cách hiệu quả.