OpenBMB ra mắt MiniCPM-V 4.7 cho phép chạy mô hình MoE 35B trên thiết bị di động

OpenBMB đã giới thiệu MiniCPM-V 4.7, nổi bật với mô hình thị giác-ngôn ngữ hỗn hợp chuyên gia (MoE) 35B-A3B chạy cục bộ trên thiết bị di động với dung lượng bộ nhớ khoảng 3GB. Bản phát hành này cũng bao gồm biến thể 1B nhỏ hơn cho các thiết bị hạn chế tài nguyên và giới thiệu phương pháp Tinh chỉnh Tự phát lại (SRFT) để tùy chỉnh tác vụ. Bước đột phá này chứng minh rằng các mô hình đa phương thức lớn có thể hoạt động cục bộ trên thiết bị biên mà không cần phụ thuộc vào cơ sở hạ tầng đám mây, giúp nâng cao quyền riêng tư của người dùng và giảm độ trễ. Đây là một bước tiến quan trọng trong việc đưa các trợ lý AI tiên tiến lên phần cứng tiêu dùng hàng ngày một cách thiết thực. Mô hình đạt được hiệu suất cao nhờ sử dụng Lập lịch chuyên gia đón đầu (LES), giúp dự đoán và tải trước trọng số chuyên gia để loại bỏ các điểm nghẽn trong quá trình thực thi trên thiết bị. Ngoài ra, phương pháp Tinh chỉnh Tự phát lại (SRFT) cho phép các nhà phát triển tùy chỉnh mô hình cho các tác vụ cụ thể mà vẫn bảo toàn được các năng lực tổng quát của nó.