Ant Group Mở Mã Nguồn Mô Hình Đa Phương Thức Ling-3.0-flash-VL Với Vòng Lặp Phản Hồi Thị Giác
Ant Group đã mở mã nguồn Ling-3.0-flash-VL, một mô hình đa phương thức nguyên bản dựa trên kiến trúc Mixture-of-Experts (MoE) với tổng cộng 124 tỷ tham số và 5,5 tỷ tham số kích hoạt cho mỗi token. Mô hình hỗ trợ nguyên bản đầu vào văn bản, hình ảnh và video với cửa sổ ngữ cảnh 256K token, đồng thời giới thiệu cơ chế vòng lặp phản hồi thị giác để liên tục tinh chỉnh nhiệm vụ. Bằng cách triển khai vòng lặp phản hồi liên tục 'quan sát - hành động - xác minh - hiệu chỉnh', Ling-3.0-flash-VL cho phép thực thi tin cậy hơn trong các tác vụ agent như tự động hóa GUI, dựng mã giao diện và đọc báo cáo y tế. Việc mở mã nguồn một kiến trúc MoE hiệu năng cao cung cấp cho cộng đồng lập trình viên một giải pháp mã nguồn mở cạnh tranh so với các mô hình đa phương thức thương mại. Mô hình tích hợp bộ mã hóa thị giác độ phân giải tùy chỉnh, VideoRoPE và phần khung ngôn ngữ 42 lớp kết hợp KDA và Gated MLA theo tỷ lệ 5:1. Ant Group đã phát hành các trọng số BF16 và FP8 trên Hugging Face và ModelScope, đồng thời dự kiến sớm ra mắt các phiên bản lượng hóa FP4 và INT4.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn đa phương thức (MLLM) thường xử lý đầu vào thị giác trong một lần tạo duy nhất, điều này dễ dẫn đến sai sót khi thực hiện các tác vụ hình ảnh nhiều bước. Kiến trúc Mixture-of-Experts (MoE) giúp mô hình duy trì dung lượng kiến thức lớn bằng cách huấn luyện tập tham số rộng nhưng chỉ kích hoạt một tập hợp nhỏ trong quá trình suy luận để giữ chi phí tính toán ở mức thấp.