Lập trình viên chuyển đổi thành công mô hình Qwen3-0.6B sang kiến trúc Mixture of Experts

Một lập trình viên đã chuyển đổi thành công mô hình trò chuyện Qwen3-0.6B sang kiến trúc Mixture of Experts (MoE) trong khi vẫn duy trì tính tương thích với định dạng GGUF. Để khắc phục việc thiếu chuyên gia chung trong kiến trúc Qwen3, tác giả đã triển khai một chuyên gia giả định (pseudo-shared expert) nhằm giúp khôi phục chất lượng bị suy giảm. Dự án này thể hiện sự thử nghiệm sáng tạo từ cộng đồng trong việc sửa đổi kiến trúc mô hình ngôn ngữ lớn ở quy mô rất nhỏ. Nó làm nổi bật các rào cản kỹ thuật khi chuyển đổi các mô hình dày đặc sang dạng MoE mà vẫn giữ tính tương thích với các định dạng suy luận cục bộ phổ biến như GGUF. Các kết quả đo chuẩn cho thấy ở quy mô nhỏ 0.6B, phiên bản chuyển đổi MoE không mang lại cải thiện về tốc độ so với bản gốc và có hiệu suất kém hơn qua các chỉ số chất lượng tiêu chuẩn. Tác giả lưu ý rằng mô hình chuyển đổi thường đưa ra các thông tin sai lệch và khuyên nên dùng chế độ không suy luận vì khả năng tư duy chưa được huấn luyện lại.