Ant Group công bố mô hình Ling-3.1-flash với 560 tỷ tham số và kế hoạch mã nguồn mở

Đội ngũ Bailing thuộc Ant Group đã ra mắt Ling-3.1-flash, một mô hình Mixture-of-Experts sở hữu khoảng 560 tỷ tổng tham số, 25 tỷ tham số kích hoạt cho mỗi token và cửa sổ ngữ cảnh lên tới 1 triệu token. Mô hình đang được dùng thử miễn phí trong hai tuần với giới hạn tạm thời là 256K token, sau đó Ant Group mở rộng lên 1M token và phát hành dưới dạng mã nguồn mở. Ling-3.1-flash cho thấy cách các kiến trúc MoE hiện đại giúp tăng dung lượng mô hình trong khi vẫn giữ chi phí tính toán trên mỗi token ở mức thấp khi vận hành. Cam kết mở nguồn mô hình của Ant Group sau giai đoạn thử nghiệm sẽ mang đến cho cộng đồng mã nguồn mở toàn cầu một mô hình ngôn ngữ ngữ cảnh siêu dài đầy sức mạnh. Bằng cách chỉ kích hoạt khoảng 25 tỷ tham số cho mỗi token trong tổng số 560 tỷ, mô hình tối ưu hóa hiệu suất tính toán cho các tác vụ ngữ cảnh dài thuộc lĩnh vực tài chính, y tế và kỹ thuật phần mềm. Phiên bản dùng thử giới hạn ngữ cảnh ở mức 256K token để quản lý chi phí vận hành trước khi mở rộng lên 1M token khi phát hành thương mại đầy đủ.