Người Dùng Reddit Hợp Nhất Qwen 3.8 và 3.6 Tạo Mô Hình Thử Nghiệm QwenMix-3.7
Một người dùng Reddit đã hợp nhất thành công các mô hình Qwen 3.8-27B và Qwen 3.6-27B để tạo ra một mô hình lai thử nghiệm mang tên "QwenMix-3.7". Tác giả đã chia sẻ các tập lệnh hợp nhất và kho lưu trữ cho dự án thử nghiệm này. Dự án này chứng minh tính linh hoạt của các mô hình LLM mã nguồn mở, cho thấy cách các thành viên cộng đồng có thể nhanh chóng thử nghiệm hợp nhất mô hình mà không cần đào tạo lại tốn kém. Nó làm nổi bật tiềm năng kết hợp các phiên bản mô hình khác nhau có cấu trúc tương tự nhau. Tác giả lưu ý rằng Qwen 3.8 và 3.6 có cấu trúc chức năng giống hệt nhau, ngoại trừ bảy token mới trong Qwen 3.8. Mô hình này mới chỉ trải qua thử nghiệm cơ bản (smoke test) và các tập lệnh hợp nhất hiện có sẵn trong thư mục replicate/ của kho lưu trữ mô hình.
## KIẾN THỨC NỀN
Hợp nhất mô hình (model merging) là một kỹ thuật trong học máy giúp kết hợp trọng số của nhiều mô hình ngôn ngữ lớn (LLM) đã được huấn luyện trước để tạo ra một mô hình mới mà không cần dữ liệu huấn luyện thô hoặc tài nguyên tính toán đắt đỏ. GGUF là một định dạng tệp phổ biến được thiết kế để suy luận LLM hiệu quả trên phần cứng tiêu dùng, thường được sử dụng với các công cụ như llama.cpp.