Clover 2: Mô hình 27.8B sử dụng định tuyến chuyên gia LoRA động
Clover 2 là một mô hình mã nguồn mở 27.8B mới, sử dụng một bộ định tuyến đã được huấn luyện để lựa chọn động giữa bảy bộ điều hợp LoRA chuyên biệt cho từng token trong quá trình suy luận. Thay vì trộn trọng số tĩnh, mô hình này chủ động quyết định nên sử dụng chuyên gia nào tại mỗi token. Phương pháp này mang đến một giải pháp thay thế thiết thực và mã nguồn mở cho việc hợp nhất mô hình tĩnh truyền thống bằng cách đưa tính năng định tuyến Chuyên gia hỗn hợp theo từng token vào các bộ điều hợp PEFT. Nó mang lại những cải thiện đáng kể trên các bài kiểm tra đánh giá về toán học và ngữ cảnh dài, đồng thời giảm bớt các thói quen viết văn chung chung của AI. Bản phát hành bao gồm mô hình cơ sở, cả bảy bộ điều hợp định dạng PEFT, bộ định tuyến đã huấn luyện và một plugin vLLM để thực thi hành vi định tuyến theo từng token. Hiện tại, việc tự lưu trữ yêu cầu sử dụng vLLM vì hỗ trợ của llama.cpp cho kiến trúc chú ý lai vẫn đang ở giai đoạn đầu và chưa có sẵn tệp GGUF.
## KIẾN THỨC NỀN
Chuyên gia hỗn hợp (MoE) là một kỹ thuật học máy sử dụng nhiều mô hình con chuyên biệt để phân chia không gian bài toán, cho phép mở rộng quy mô hiệu quả. LoRA (Low-Rank Adaptation) là một phương pháp tinh chỉnh tiết kiệm tham số, giúp thích ứng các mô hình được huấn luyện trước bằng cách sửa đổi một tập hợp nhỏ tham số thay vì huấn luyện lại toàn bộ.