InclusionAI Phát Hành Ling-3.1-flash-1019 với 560B Tham Số và Ngữ Cảnh 1M
InclusionAI đã giới thiệu Ling-3.1-flash-1019, một mô hình MoE nâng cấp với tổng số 560 tỷ tham số, 25 tỷ tham số hoạt động cho mỗi token và cửa sổ ngữ cảnh 1 triệu token. Mô hình này cho thấy sự cải thiện đáng kể về hiệu suất trên các bài kiểm tra chuẩn khoa học và đánh giá tác vụ tác tử. Bản phát hành này đánh dấu một bước tiến quan trọng đối với các mô hình mixture-of-experts dung lượng lớn, trọng số mở được thiết kế để xử lý các quy trình làm việc nhiều bước phức tạp và xử lý ngữ cảnh dài. Những cải tiến trong năng lực tác tử thực tế biến nó thành một lựa chọn mạnh mẽ cho các tác vụ tự động hóa nâng cao. Mوه hình đạt điểm AA-Briefcase là 1524 Elo, tăng kết quả trên AutomationBench-AA từ 62% lên 68%, và đạt điểm cao hơn trên các tập dữ liệu khoa học như CritPt và SciCode. Nó cũng ghi nhận 44 điểm trên Artificial Analysis Intelligence Index v4.3.2, tăng từ mức 41 của phiên bản tiền nhiệm.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là một kiến trúc mạng nơ-ron trong đó chỉ một tập hợp con các tham số, gọi là tham số hoạt động, được sử dụng cho mỗi token đầu vào, cho phép đạt tổng dung lượng lớn với chi phí tính toán hiệu quả. Cửa sổ ngữ cảnh 1 triệu token cho phép mô hình tiếp nhận, phân tích và suy luận trên các tài liệu hoặc cơ sở mã nguồn cực kỳ lớn cùng một lúc.