NVIDIA Ra Mắt Mô Hình VLM Nemotron-3.5-Bolt-74B Tối Ưu Cho Phần Cứng 24GB Cục Bộ
NVIDIA vừa phát hành Nemotron-3.5-Bolt-74B-A9B-24GB, một mô hình ngôn ngữ-thị giác 74 tỷ tham số sở hữu kiến trúc kết hợp Mamba-2-Transformer LatentMoE. Mô hình này sử dụng định lượng 2-bit nguyên bản kết hợp huấn luyện nhận biết định lượng để chạy vừa vặn trên phần cứng VRAM 24GB trong khi vẫn hỗ trợ đầu vào dạng văn bản, hình ảnh và video. Sản phẩm này thu hẹp khoảng cách giữa các mô hình đa phương thức quy mô đám mây khổng lồ và phần cứng phổ thông bằng cách cung cấp một mô hình chạy cục bộ trên GPU 24GB tiêu chuẩn. Nó đạt được sự cân bằng tối ưu giữa tốc độ và độ thông minh, vượt trội hơn các mô hình dày đặc về tốc độ và các mô hình hỗn hợp chuyên gia (MoE) về độ chính xác trên mỗi GB. Mô hình có tổng cộng 74 tỷ tham số với 9 tỷ tham số hoạt động, độ dài ngữ cảnh lên tới 256K token và có sẵn ở định dạng GGUF. Nó hỗ trợ chế độ suy luận thông qua các điều khiển mẫu trò chuyện và áp dụng phương pháp giải mã suy đoán để nâng cao hiệu suất sinh văn bản.
## KIẾN THỨC NỀN
Các mô hình kết hợp Mamba-2-Transformer kết hợp cơ chế chú ý truyền thống với các mô hình không gian trạng thái để đạt được khả năng mở rộng tuyến tính và hiệu suất cao. Quá trình huấn luyện nhận biết định lượng tích hợp việc giảm độ chính xác ngay trong quá trình huấn luyện, cho phép mô hình giữ lại độ chính xác cao hơn khi chuyển đổi sang các định dạng thấp như 2-bit.