Ant Group mã nguồn mở mô hình Ling-3.1-flash với ngữ cảnh 1M
Ant Group đã chính thức mã nguồn mở mô hình AI Ling-3.1-flash, sở hữu kiến trúc MoE tổng tham số 560B với 25B tham số kích hoạt trên mỗi token và hỗ trợ cửa sổ ngữ cảnh lên tới 1M. Mô hình tận dụng kỹ thuật lượng tử hóa MXFP4 và block-FP8 tiên tiến để giảm dung lượng bộ nhớ và hỗ trợ triển khai cục bộ hiệu quả. Việc mở nguồn một mô hình MoE quy mô lớn được tối ưu hóa cho việc triển khai cục bộ và xử lý ngữ cảnh dài giúp Ant Group hạ thấp rào cản phần cứng cho các doanh nghiệp xây dựng ứng dụng AI riêng. Bản phát hành này mang lại hiệu suất cạnh tranh cho các tác vụ như quản lý tri thức doanh nghiệp, đồng thời tạo ra cơ sở hạ tầng tự lưu trữ tiết kiệm chi phí hơn. Quá trình lượng tử hóa đã giảm thành công trọng số mô hình từ khoảng 534GB xuống 292GB, cho phép yêu cầu phần cứng triển khai trên GPU Hopper giảm từ 8 card xuống 4 card. Ngoài ra, nhóm phát triển đã tích hợp tính năng kết hợp toán tử và giải mã dự đoán DSpark để đạt độ trễ thấp, ghi nhận thời gian cho token đầu tiên là 604 mili-giây trong các bài kiểm tra mô phỏng sản xuất.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn thường dựa vào kiến trúc Hỗn hợp chuyên gia (MoE) để mở rộng tổng số tham số trong khi vẫn giữ mức tính toán hoạt động thấp trên mỗi token, giúp chúng chạy nhanh hơn và rẻ hơn. Các kỹ thuật như lượng tử hóa MXFP4 nén mạnh mẽ trọng số mạng nơ-ron để tiết kiệm VRAM, trong khi các phương pháp suy luận song song ngữ cảnh dài như PCP và DCP phân phối các chuỗi token khổng lồ trên nhiều GPU.