Kỹ sư thu gọn mô hình Gemma MoE xuống còn 15% kích thước cho ứng dụng trên thiết bị
Một kỹ sư đã thu gọn thành công mô hình MoE xuống còn 15% kích thước ban đầu bằng cách khóa các chuyên gia cụ thể để tạo ra một mô hình dày đặc. Phương pháp tùy chỉnh này đạt độ chính xác cao đối với một tác vụ phân loại hẹp, đồng thời cắt giảm lượng bộ nhớ sử dụng và tăng gấp đôi tốc độ suy luận. Tối ưu hóa mạnh mẽ này cho phép AI chạy cục bộ hiệu suất cao, chuyên biệt theo lĩnh vực hoạt động liên tục với mức tiêu thụ tài nguyên tối thiểu. Nó làm nổi bật một hướng đi khả thi để triển khai các mô hình hiệu quả phù hợp với phần cứng tiêu dùng chuyên dụng và khối lượng công việc cục bộ thời gian thực. Mô hình dày đặc thu được chứa 3,81 tỷ tham số, chiếm 2,75 GB ở mức lượng tử hóa Q4_K_M và chạy ở tốc độ 79 token mỗi giây trên máy Mac. Bằng cách loại bỏ bộ định tuyến và chọn cố định 8 chuyên gia cho mỗi lớp, mô hình hy sinh khả năng kiến thức tổng quát để đổi lấy tốc độ và hiệu quả năng lượng.
## KIẾN THỨC NỀN
Mixture of Experts (MoE) là kiến trúc mạng nơ-ron trong đó các mạng con khác nhau, hay các chuyên gia, xử lý các loại đầu vào khác nhau và được định tuyến động bởi một bộ phận ra quyết định. Cắt tỉa mô hình là thực tiễn loại bỏ các tham số hoặc thành phần dư thừa khỏi mạng nơ-ron hiện có để giảm kích thước và yêu cầu tài nguyên tính toán nhưng vẫn duy trì độ chính xác.