Mô Hình MoE Ling-3.1-flash Được Công Bố Với Kế Hoạch Mở Mã Nguồn
Ling-3.1-flash, một mô hình ngôn ngữ Mixture-of-Experts (MoE) có tổng cộng khoảng 560 tỷ tham số, 25 tỷ tham số kích hoạt cho mỗi token và cửa sổ ngữ cảnh 1 triệu token, vừa chính thức được công bố. Mô hình hiện được cung cấp qua bản dùng thử miễn phí trong hai tuần trước khi phát hành mã nguồn mở theo kế hoạch. Việc phát hành mở mã nguồn một mô hình MoE quy mô lớn 560 tỷ tham số có hiệu suất cao có thể nâng cao đáng kể mặt bằng năng lực AI mã nguồn mở. Việc chỉ kích hoạt 25 tỷ tham số giúp quá trình suy luận đạt hiệu quả tính toán cao hơn nhiều so với các mô hình dày (dense model) truyền thống có cùng kích thước. Mô hình ghi nhận hiệu suất cao trên nhiều bài kiểm tra benchmark chuyên ngành, bao gồm 1.673 Elo trên GDPVal-AA v2.1 về tác vụ công việc chuyên môn, 75,16 trên FrontierSWE về kỹ thuật phần mềm và 65,35 trên HealthBench Professional về ứng dụng y tế. Cửa sổ ngữ cảnh 1 triệu token của mô hình cho phép xử lý các cơ sở mã nguồn lớn và tập tài liệu dài.
## KIẾN THỨC NỀN
Kiến trúc Mixture-of-Experts (MoE) định tuyến các token đầu vào một cách linh hoạt đến các mạng con chuyên biệt ("chuyên gia"), cho phép mở rộng tổng số tham số mà không làm tăng chi phí tính toán khi suy luận theo tỷ lệ thuận. Các bài đánh giá chuẩn như GDPVal-AA kiểm tra mô hình trên các công việc tri thức chuyên môn có giá trị kinh tế, FrontierSWE đánh giá khả năng giải quyết bài toán lập trình nhiều bước, và HealthBench đo lường năng lực hội thoại lâm sàng và hỗ trợ ra quyết định y tế.