Mô hình MoE 35B chạy ở tốc độ 20,5 token/giây trên iPhone mà không bỏ sót chuyên gia
MiniCPM-V 4.7 của OpenBMB ứng dụng kỹ thuật Lập lịch Chuyên gia Nhìn trước (Lookahead Expert Scheduling - LES) để chạy mô hình Hỗn hợp Chuyên gia (MoE) 35B cục bộ trên iPhone với tốc độ 20,51 token mỗi giây. Giải pháp tối ưu hóa hệ thống này tải trước trọng số chuyên gia từ bộ nhớ flash trước khi tính toán mà không làm thay đổi định tuyến của mô hình hay loại bỏ các chuyên gia. Bước đột phá này vượt qua những giới hạn nghiêm ngặt về băng thông bộ nhớ trên phần cứng di động, chứng minh rằng các mô hình ngôn ngữ lớn có thể chạy cục bộ với thông lượng cao. Đây là một bước tiến lớn đối với trí tuệ nhân tạo biên nhờ loại bỏ nhu cầu hy sinh chất lượng mô hình hoặc bỏ qua các chuyên gia để đạt tốc độ sử dụng thực tế. Kết hợp với bố cục trọng số được tối ưu hóa, lượng tử hóa hỗn hợp độ chính xác và giải mã dự đoán DSpark, LES đạt tốc độ nhanh hơn 6,07 lần so với cơbaseline trong khi chỉ sử dụng khoảng 3 GB bộ nhớ đỉnh ở cấu hình thấp. Mã nguồn đã được mở trong dự án llama.cpp-omni.
## KIẾN THỨC NỀN
Hỗn hợp Chuyên gia (MoE) là kiến trúc biến đổi trong đó các tiểu mạng (chuyên gia) khác nhau xử lý các đầu vào khác nhau, giúp tăng đáng kể dung lượng mô hình nhưng vẫn giữ cho khối lượng tính toán hoạt động ở mức có thể quản lý. Tuy nhiên, việc chạy các mô hình MoE cục bộ trên thiết bị di động gặp nhiều thách thức do việc tải lượng lớn trọng số chuyên gia từ bộ nhớ flash chậm chạp gây ra các điểm nghẽn nghiêm trọng.