iFlytek ra mắt mô hình MoE đa ngôn ngữ Spark-X2.5 huấn luyện trên phần cứng Trung Quốc
iFlytek đã chính thức ra mắt mô hình đa ngôn ngữ Spark-X2.5, sử dụng kiến trúc Mixture-of-Experts (MoE) 293 tỷ tham số với 30 tỷ tham số kích hoạt và cửa sổ ngữ cảnh 256K. Mô hình được huấn luyện hoàn toàn trên hạ tầng tính toán nội địa của Trung Quốc và hỗ trợ hơn 200 ngôn ngữ. Sự kiện này thể hiện tiến bộ của Trung Quốc trong việc phát triển độc lập các mô hình ngôn ngữ lớn trên phần cứng nội địa trong bối cảnh bị hạn chế chíp toàn cầu. Ngoài ra, việc nâng cấp đáng kể năng lực lập trình, tác tử AI và hỗ trợ đa ngôn ngữ giúp mô hình trở thành giải pháp cạnh tranh cho các doanh nghiệp. Mô hình được triển khai trên nền tảng Model-as-a-Service (MaaS) iFlytek Xingchen. Mức giá được ấn định là 1,6 NDT cho mỗi triệu token đầu vào (0,24 NDT nếu trúng bộ nhớ đệm cache) và 6 NDT cho mỗi triệu token đầu ra.
## KIẾN THỨC NỀN
Kiến trúc Mixture of Experts (MoE) mở rộng quy mô mô hình một cách hiệu quả bằng cách chỉ điều hướng các token đầu vào đến những mạng con chuyên biệt (chuyên gia), giúp kiểm soát chi phí tính toán khi suy luận dù tổng số tham số rất lớn. Nền tảng Model-as-a-Service (MaaS) cho phép nhà phát triển truy cập các mô hình lớn này qua API đám mây mà không cần quản lý hạ tầng tại chỗ.