Xiaomi ra mắt mô hình trọng số mở MiMo-V2.6-Distill-Qwen-9B
Nhóm MiMo của Xiaomi đã phát hành MiMo-V2.6-Distill-Qwen-9B, một mô hình trọng số mở mới được chắt lọc (distilled) dựa trên mô hình cơ sở Qwen 9 tỷ tham số. Bản phát hành này đã được đăng tải trên Hugging Face và chia sẻ tới cộng đồng AI mã nguồn mở trên r/LocalLLaMA. Việc chắt lọc các khả năng nâng cao từ các mô hình lớn hơn sang kích thước 9B tham số nhỏ gọn cho phép triển khai cục bộ hiệu quả trên phần cứng thương mại. Điều này thể hiện xu hướng ngày càng tăng trong việc kết hợp các mô hình cơ sở mã nguồn mở mạnh mẽ với kỹ thuật chắt lọc chuyên biệt nhằm tối ưu hóa hiệu suất. Mô hình sử dụng kiến trúc Qwen 9B làm mô hình học sinh, được chắt lọc bằng các phương pháp luận suy luận từ dự án MiMo của Xiaomi. Tuy nhiên, thông báo ban đầu vẫn thiếu các điểm số đánh giá hiệu năng (benchmark) và bộ dữ liệu kiểm thử chi tiết.
## KIẾN THỨC NỀN
Xiaomi MiMo là một dòng mô hình ngôn ngữ được thiết kế nhằm khai phá khả năng suy luận thông qua các kỹ thuật huấn luyện chuyên biệt. Chắt lọc tri thức (knowledge distillation) là quy trình trong máy học, nơi một mô hình học sinh nhỏ hơn được huấn luyện để mô phỏng hành vi và hiệu suất của mô hình giáo viên lớn hơn.