DiffuSpace Phát Hành Mô Hình Ngôn Ngữ Khuếch Tán Nguồn Mở Clover-35B-A3B-Preview
DiffuSpace vừa phát hành Clover-35B-A3B-Preview, đánh dấu mô hình ngôn ngữ khuếch tán nguồn mở đầu tiên của nhóm. Mô hình này sở hữu kiến trúc mixture-of-experts 35 tỷ tham số với 3 tỷ tham số hoạt động trên mỗi token và cửa sổ ngữ cảnh 128K. Sự ra mắt này đánh dấu một bước ngoặt kỹ thuật quan trọng khi kết hợp định tuyến mixture-of-experts quy mô lớn với phương pháp khuếch tán khối để tạo văn bản. Nó thách thức mô hình tự hồi quy thống trị bằng cách chứng minh hiệu suất khuếch tán nguồn mở đầy cạnh tranh. Clover sử dụng phương pháp tạo khuếch tán khối kết hợp với nền tảng MoE 35B nhằm cân bằng giữa hiệu suất và khả năng tạo sinh. Tại thời điểm ra mắt, mô hình đạt hiệu suất tiên tiến trong số các mô hình ngôn ngữ khuếch tán nguồn mở dựa trên các bài kiểm tra được công bố trong blog.
## KIẾN THỨC NỀN
Khác với các mô hình tự hồi quy truyền thống tạo văn bản tuần tự từng token từ trái sang phải, các mô hình ngôn ngữ khuếch tán tạo ra các token lặp đi lặp lại thông qua quá trình khử nhiễu, cho phép tạo song song và nắm bắt ngữ cảnh hai chiều. Kiến trúc mixture-of-experts (MoE) phân chia quá trình tính toán trên nhiều mạng con hoặc chuyên gia, chỉ kích hoạt một tập hợp con cho mỗi đầu vào nhằm mở rộng dung lượng mô hình hiệu quả mà không làm tăng lượng tính toán hoạt động.