Mô hình 109M tham số siêu nhỏ vượt trội hơn các hệ thống đa phương thức lớn
Nghiên cứu mới giới thiệu một mô hình đa phương thức 109M tham số cực kỳ hiệu quả, vượt qua các mô hình lên tới 72B tham số về khả năng căn chỉnh hình ảnh - văn bản trong khi sử dụng lượng dữ liệu huấn luyện ít hơn 42 lần. Bước đột phá này chứng minh rằng số lượng tham số khổng lồ và lượng dữ liệu huấn luyện khổng lồ không hoàn toàn là điều kiện bắt buộc để đạt được hiệu suất ưu việt trong các tác vụ đa phương thức, qua đó có thể hạ thấp rào cản phát triển AI. Mô hình đạt được khả năng căn chỉnh hình ảnh - văn bản vượt trội nhờ các phương pháp huấn luyện được tối ưu hóa chuyên biệt, dù chỉ sở hữu kích thước nhỏ gọn 109 triệu tham số và dấu chân huấn luyện thu gọn.
## KIẾN THỨC NỀN
Mô hình đa phương thức là một loại hệ thống học sâu tích hợp và xử lý nhiều loại dữ liệu khác nhau như văn bản, hình ảnh, âm thanh hoặc video, cho phép thấu hiểu toàn diện thông tin phức tạp. Căn chỉnh hình ảnh - văn bản là tác vụ cơ bản nhằm xác định và thực thi tính nhất quán ngữ nghĩa giữa nội dung trực quan và mô tả bằng văn bản trong các hệ thống này.