Hé lộ sớm về mô hình ngôn ngữ lớn Ling 3.1 Flash sắp ra mắt của Ant Group

Một người dùng trên r/LocalLLaMA đã chia sẻ ấn tượng ban đầu sau khi trải nghiệm mô hình ngôn ngữ lớn chưa ra mắt mang tên Ling 3.1 Flash. Mô hình này sở hữu tổng cộng 560 tỷ tham số nhưng chỉ kích hoạt 25 tỷ tham số cho mỗi token (560B A25B). Bài viết cho thấy các dòng mô hình 'Flash', vốn trước đây dành cho mô hình nhỏ với độ trễ thấp, đang mở rộng sang các kiến trúc khổng lồ hàng trăm tỷ tham số. Xu hướng này chứng tỏ kiến trúc Mixture of Experts (MoE) giúp các mô hình quy mô cực lớn đạt tốc độ suy luận nhanh bằng cách chỉ kích hoạt một phần nhỏ tham số. Mô hình Ling 3.1 Flash sắp ra mắt do Ant Group phát triển sử dụng cấu trúc Mixture of Experts (MoE) thưa với 560 tỷ tham số tổng và 25 tỷ tham số kích hoạt. Tác giả đã thử nghiệm khả năng của mô hình trên các tác vụ tạo nội dung phức tạp, mặc dù các điểm số kiểm thử và thông số chi tiết hiện vẫn chưa được công bố chính thức.