Xiaomi Phát Hành Mô Hình MiMo-V2.6-Distill-Qwen-9B Trên Hugging Face
Xiaomi đã phát hành MiMo-V2.6-Distill-Qwen-9B, một mô hình ngôn ngữ nén (distilled) trọng số mở với 9 tỷ tham số được xây dựng dựa trên kiến trúc Qwen, hiện có sẵn trên Hugging Face. Bản phát hành cho phép các nhà phát triển và nghiên cứu tải xuống và đánh giá mô hình để triển khai cục bộ. Các mô hình trọng số mở được chắt lọc giúp mang lại hiệu suất cao trong quy mô 9 tỷ tham số tối ưu, cho phép triển khai trực tiếp trên phần cứng cá nhân. Việc Xiaomi tham gia phát hành mô hình cho thấy sự đóng góp ngày càng tăng của các tập đoàn điện tử tiêu dùng lớn vào hệ sinh thái AI mã nguồn mở. Mô hình sử dụng kiến trúc 9 tỷ tham số được chắt lọc từ dòng mô hình Qwen của Alibaba thông qua kỹ thuật distillation. Tuy nhiên, bài đăng ban đầu trên kho lưu trữ vẫn chưa cung cấp dữ liệu benchmark chi tiết, tài liệu về tập dữ liệu huấn luyện hoặc thông tin tinh chỉnh.
## KIẾN THỨC NỀN
Chắt lọc tri thức (Knowledge distillation) là kỹ thuật máy học giúp một mô hình 'học sinh' nhỏ hơn tái hiện hiệu suất của một mô hình 'giáo viên' lớn hơn. Qwen là dòng mô hình ngôn ngữ lớn trọng số mở do Alibaba Cloud phát triển, được sử dụng rộng rãi làm nền tảng để tinh chỉnh và chắt lọc trong cộng đồng AI.