~/LLM/china-telecom-open-sources-xing4-0-29b-a4b-lightweight-moe-agent-llm

China Telecom Mở Mã Nguồn Mô Hình AI Agent Xing4.0-29B-A4B Siêu Nhẹ

China Telecom đã mở mã nguồn Xing4.0-29B-A4B, mô hình agent dạng Mixture-of-Experts (MoE) có tổng cộng 29 tỷ tham số nhưng chỉ kích hoạt 4 tỷ tham số cùng cửa sổ ngữ cảnh nguyên bản 256K. Đây là mô hình quy mô hàng chục tỷ tham số đầu tiên được huấn luyện hoàn toàn trên chuỗi phần cứng và phần mềm nội địa của Trung Quốc, sử dụng chip Huawei Ascend và các khung làm việc trong nước. Nhờ đạt hiệu suất hàng đầu về AI agent trong khi vẫn đủ nhẹ để chạy trên các GPU tiêu dùng thông thường, mô hình này chứng minh khả năng của Trung Quốc trong việc phát triển LLM cạnh tranh độc lập với phần cứng phương Tây. Khả năng tương thích rộng rãi với các khung tinh chỉnh, suy luận và agent phổ biến giúp việc triển khai AI hiệu năng cao trở nên dễ dàng cho các nhà phát triển cá nhân. Khi áp dụng lượng hóa 4-bit, dung lượng VRAM yêu cầu của mô hình giảm xuống còn 15GB, cho phép xử lý ngữ cảnh dài trên các card đồ họa phổ thông như RTX 3090 hoặc RTX 4090. Trong đánh giá năng lực agent của SuperCLUE, mô hình đạt 93.52 điểm—xếp thứ 3 toàn đoàn và chỉ kém các mô hình Qwen hàng đầu dưới 1 điểm—đồng thời hỗ trợ mở rộng ngữ cảnh lên tới 512K.

## KIẾN THỨC NỀN

Mixture-of-Experts (MoE) là một kiến trúc chỉ kích hoạt một phần nhỏ tham số cho mỗi token, giúp mang lại hiệu suất tính toán cao trong khi vẫn duy trì dung lượng mô hình lớn. Trong khi đó, các khung làm việc như MindFormers cung cấp quy trình phát triển mô hình toàn diện được tối ưu hóa riêng cho hệ sinh thái AI MindSpore và Ascend của Huawei.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#Open Source#Mixture of Experts#AI Hardware#AI Agents

$ subscribe --daily

China Telecom Mở Mã Nguồn Mô Hình AI Agent Xing4.0-29B-A4B Siêu Nhẹ | Daily News