InclusionAI Phát Hành Mô Hình Ling-3.1-flash Với 560 Tỷ Tham Số
InclusionAI đã phát hành Ling-3.1-flash, một mô hình Mixture-of-Experts suy luận kết hợp quy mô lớn với tổng số 560 tỷ tham số và 25 tỷ tham số hoạt động trên mỗi token. Điều này đánh dấu một bước nhảy vọt về quy mô so với phiên bản 3.0 trước đó của họ, vốn chỉ có 127 tỷ tham số. Việc phát hành này giới thiệu một kiến trúc mô hình dung lượng cao, giúp tăng đáng kể tổng số tham số trong khi vẫn giữ số lượng tham số hoạt động ở mức thấp để suy luận hiệu quả. Điều này làm nổi bật xu hướng liên tục tận dụng các thiết kế Mixture-of-Experts tiên tiến để cân bằng giữa trí tuệ mô hình cao và tốc độ vận hành hợp lý. Mặc dù danh sách trên Hugging Face ghi nhận cửa sổ ngữ cảnh 1 triệu token, các nhà cung cấp như OpenRouter báo cáo hỗ trợ cửa sổ ngữ cảnh 262.144 token với tối đa 32.768 token hoàn thành. Mô hình hoạt động như một hệ thống trò chuyện suy luận kết hợp có thể truy cập thông qua API và định tuyến nền tảng.
## KIẾN THỨC NỀN
Mixture-of-Experts là một kiến trúc học máy trong đó mô hình chia dung lượng của mình thành nhiều tiểu mạng chuyên biệt gọi là chuyên gia, chỉ định tuyến mỗi token đầu vào qua một tập hợp con nhỏ trong số đó. Điều này cho phép mô hình duy trì tổng số lượng tham số khổng lồ để lưu trữ lượng kiến thức lớn nhưng chỉ yêu cầu năng lực tính toán của một mô hình nhỏ hơn nhiều cho mỗi token.