MMFlash: Tăng tốc giải mã suy đoán cho mô hình ngôn ngữ thị giác
MMFlash giới thiệu một khung giải mã suy đoán mới giúp tăng tốc các mô hình ngôn ngữ thị giác bằng cách điều chỉnh trọng số các token phụ thuộc thị giác và áp dụng cơ chế chú ý thưa cho video dài. Trên các tiêu chuẩn đánh giá khác nhau, nó đạt được tốc độ giải mã không suy giảm độ chính xác lên tới 3,58 lần. Khung này giải quyết một nút thắt lớn trong việc tạo sinh đa phương thức bằng cách tăng tốc đáng kể quá trình suy luận mà không làm giảm chất lượng đầu ra. Nó cho phép triển khai hiệu quả hơn các mô hình ngôn ngữ thị giác tiên tiến trên các video dài và trong môi trường hạn chế tài nguyên. Khung này sử dụng một bộ dự thảo khuếch tán không cần thị giác để đọc các trạng thái ẩn của mô hình mục tiêu mà không cần mã hóa lại phương tiện, đồng thời hỗ trợ phục vụ trực tiếp với các phiên bản SGLang và vLLM gốc mà không cần bản vá tùy chỉnh. Các mô hình dự thảo được huấn luyện sẵn đã phát hành cho các dòng như Qwen3.5 và Gemma 4.
## KIẾN THỨC NỀN
Giải mã suy đoán là một kỹ thuật tối ưu hóa suy luận trong đó một mô hình dự thảo nhỏ hơn đề xuất các token ứng viên để mô hình mục tiêu lớn hơn xác minh song song, giúp cắt giảm độ trễ trong khi vẫn giữ nguyên phân phối đầu ra ban đầu. Các mô hình ngôn ngữ thị giác (VLM) mở rộng các mô hình ngôn ngữ lớn bằng cách diễn giải đồng thời cả hình ảnh và văn bản.