~/AI/sensenova-loop-9b-released-looped-transformer-matches-larger-models

Ra mắt SenseNova-Loop-9B: Mô hình Transformer vòng lặp sánh ngang các mô hình lớn hơn

SenseNova đã chính thức phát hành SenseNova-Loop-9B theo giấy phép Apache 2.0, đạt được những bước nhảy vọt về hiệu suất so với phiên bản xem trước trên các tiêu chuẩn quan trọng như GAIA và AutomationBench. Mô hình này đạt điểm số cạnh tranh với các mô hình lớn hơn nhiều như Qwen3.8-27B trong khi vẫn duy trì lượng tham số 9B hiệu quả. Bản phát hành này chứng minh tính khả thi của kiến trúc transformer vòng lặp trong việc khuếch đại đáng kể độ sâu tính toán mà không cần mở rộng quy mô tham số vật lý, mang lại hiệu suất cao cho các tác vụ đa phương thức và tác nhân trong một khoảng phần cứng hiệu quả. Nó nổi bật cách các thiết kế tối ưu tham số có thể vượt trội hơn hẳn trọng lượng của chúng, giúp việc suy luận nâng cao dễ tiếp cận hơn đối với việc triển khai cục bộ. Mô hình có 32 lớp vật lý trong đó 24 lớp ở giữa được thực thi hai lần liên tiếp, tạo ra 56 phép tính lớp cho mỗi lần truyền xu hướng kết hợp với thiết kế siêu kết nối bị ràng buộc bởi đa tạp (mHC) hai dòng. Với trọng số 4-bit và bộ nhớ đệm KV 8-bit, suy luận đa phương thức yêu cầu khoảng 15 GiB bộ nhớ GPU cho độ dài ngữ cảnh 256K.

## KIẾN THỨC NỀN

Một mô hình transformer tiêu chuẩn dựa trên một chồng các lớp riêng biệt trong đó mọi token đi qua một tập hợp trọng số cố định chính xác một lần. Ngược lại, các transformer vòng lặp thực thi lặp đi lặp lại các lớp được chia sẻ để cho phép suy luận tiềm ẩn và tinh chỉnh trạng thái ẩn bên trong trước khi tạo văn bản, qua đó mở rộng hiệu quả độ sâu tính toán trong một ngân sách tham số nhỏ gọn.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI#Large Language Models#Open Source#Transformer Architecture#Model Release

$ subscribe --daily