NVIDIA phát hành Dory1.0-4B-BF16: Mô hình LLM lặp 4B với ngữ cảnh 256K
NVIDIA đã phát hành Dory1.0-4B-BF16, một mô hình ngôn ngữ lớn 4 tỷ tham số sử dụng kiến trúc lặp với thiết kế normalized-GPT. Mô hình này có cửa sổ ngữ cảnh 256K token và kết hợp cơ chế chú ý cửa sổ trượt với các lớp chú ý đầy đủ. Bản phát hành này đại diện cho một sự thay đổi kiến trúc quan trọng hướng tới các mô hình ngôn ngữ nhỏ gọn, hiệu quả tính toán, giúp mở rộng trí tuệ bằng cách áp dụng lặp đi lặp lại các khối lớp được chia sẻ. Nhận diện thiết kế lặp, các mô hình nhỏ có thể đạt được năng lực suy luận cao hơn mà không cần tăng tỷ lệ kích thước tham số vật lý. Dory1.0-4B-BF16 hỗ trợ suy luận đa năng bằng tiếng Anh và được phát hành theo Thỏa thuận Cấp phép OpenMDW phiên bản 1.1, cho phép sử dụng cho cả mục đích thương mại lẫn phi thương mại. Mô hình sử dụng cơ chế chú ý cửa sổ trượt lai xen kẽ để quản lý hiệu quả các ngữ cảnh dài lên tới 256K token.
## KIẾN THỨC NỀN
Kiến trúc lặp, hay mô hình hồi tiếp ẩn, truyền thông tin liên tục qua một khối lớp được chia sẻ để tinh chỉnh lặp đi lặp lại các biểu diễn, cho phép mô hình dành nhiều năng lực tính toán hơn cho mỗi token trong quá trình suy luận. Cơ chế chú ý cửa sổ trượt là một phương pháp tự chú ý thưa thớt, giới hạn mỗi token chỉ chú ý đến một cửa sổ cục bộ cố định, giúp giảm độ phức tạp tính toán từ bậc hai xuống tuyến tính khi xử lý ngữ cảnh dài.