SenseNova-Loop-9B-Preview: Mô hình LLM đa phương thức 9B với kiến trúc bộ giải mã lặp
SenseNova vừa phát hành SenseNova-Loop-9B-Preview, một mô hình ngôn ngữ lớn đa phương thức 9 tỷ tham số tích hợp kiến trúc bộ giải mã lặp, kết nối siêu phân nhánh bị ràng buộc đa tạp (mHC) hai dòng, và cửa sổ ngữ cảnh 262k token. Mô hình này thực thi một khối liên tục gồm 24 lớp hai lần tuần tự để đạt được khả năng tính toán sâu hơn mà không cần nhân bản các tham số mô hình. Sự ra mắt này đánh dấu một bước khám phá kiến trúc quan trọng đối với các mô hình trọng số mở bằng cách kết hợp tính toán sâu hiệu quả thông qua việc chia sẻ tham số với khả năng xử lý đa phương thức ngữ cảnh cực dài. Các đổi mới như kết nối siêu phân nhánh bị ràng buộc đa tạp giúp ổn định quá trình huấn luyện và dòng truyền thông tin trong các thiết kế transformer lặp hoặc hồi tiếp phi truyền thống. Mô hình sử dụng cơ chế chú ý kết hợp (hybrid attention) đan xen giữa chú ý tuyến tính và chú ý toàn phần theo mẫu bốn lớp, đồng thời hỗ trợ đầu vào đa phương thức bao gồm văn bản, hình ảnh, mã nguồn và chuỗi quỹ đạo công cụ tác nhân. Tổng số 56 lần thực thi lớp của mô hình được dẫn xuất từ 32 lớp riêng biệt sử dụng các khối lặp chia sẻ.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ dựa trên kiến trúc Transformer truyền thống thường phụ thuộc vào một chồng lớp giải mã chạy thẳng, nơi việc gia tăng chiều sâu đòi hỏi phải bổ sung các tham số độc đáo. Ngược lại, kiến trúc lặp tái sử dụng các lớp hiện có nhiều lần trong một lần chuyển tiếp duy nhất, trong khi các kết nối siêu phân nhánh bị ràng buộc đa tạp (mHC) quản lý các dòng dư song song nhằm ngăn ngừa hiện tượng bùng nổ hoặc suy giảm tín hiệu.