Model Best ra mắt mô hình đa modal cạnh thiết bị MiniCPM-V 4.7
Model Best đã phát hành mô hình đa modal tối ưu hóa cho thiết bị biên MiniCPM-V 4.7 với hai phiên bản 35B-A3B và 1B, ứng dụng công nghệ tăng tốc suy luận LES. Phiên bản 35B-A3B là mô hình MoE mã nguồn mở đầu tiên chạy mượt mà trên thiết bị di động, đạt tốc độ giải mã hơn 13 token/giây trên iPhone 17 Pro Max chỉ với 3GB bộ nhớ. Sự ra mắt này đánh dấu một bước đột phá quan trọng đối với AI trên thiết bị khi chứng minh rằng các mô hình Hỗn hợp Chuyên gia quy mô lớn có thể chạy hiệu quả với mức tiêu thụ bộ nhớ tối thiểu trên phần cứng phổ thông. Nó mở rộng phạm vi triển khai của trí tuệ nhân tạo đa modal trên nhiều hệ điều hành di động và chip phần cứng khác nhau. Mô hình hỗ trợ nguyên bản các hệ điều hành iOS, Android và HarmonyOS, cùng với các nền tảng chip như Intel, AMD và ARM. Ngoài ra, nó cũng mã nguồn mở giải pháp tinh chỉnh Self-Replay Fine-Tuning (SRFT) để giúp các nhà phát triển dễ dàng mở rộng năng lực mô hình và giảm thiểu hiện tượng quên kiến thức cũ trong quá trình phát triển thứ cấp.
## KIẾN THỨC NỀN
AI biên (Edge AI) đề cập đến các mô hình trí tuệ nhân tạo chạy trực tiếp trên các thiết bị tiêu dùng cá nhân như điện thoại thông minh và máy tính xách tay, mang lại độ trễ thấp, tính bảo mật cao và khả năng hoạt động ngoại tuyến. Mô hình Hỗn hợp Chuyên gia (MoE) là một kiến trúc mô hình trong đó chỉ một tập hợp con các tham số mạng hoặc 'chuyên gia' được kích hoạt cho mỗi đầu vào cụ thể, giúp giảm đáng kể chi phí tính toán.