NVIDIA phát hành các mô hình Nemotron 3.5 Super VL và Bolt
NVIDIA đã công bố Nemotron 3.5 Super VL, một mô hình đa phương thức hỗn hợp chuyên gia (MoE) có tổng tham số 120 tỷ được thiết kế cho các AI agent, bên cạnh các dòng mô hình Bolt tập trung vào thiết bị biên. Mô hình Super VL mang lại thông lượng trên một GPU cao hơn tới 5 lần cho các tác vụ agent và tích hợp khả năng hiểu văn bản, hình ảnh, tài liệu và video. Bản phát hành này cung cấp cho các doanh nghiệp các mô hình mở được tối ưu hóa cao và giải pháp suy luận phân tán giúp giảm đáng kể độ trễ và chi phí vận hành cho các quy trình làm việc AI đa bước phức tạp. Bằng cách cung cấp kiến trúc có thể tùy chỉnh và các tùy chọn triển khai cục bộ mạnh mẽ, nó thúc đẩy việc áp dụng các tác nhân tự động trên nhiều ngành công nghiệp khác nhau. Mô hình Super VL sử dụng 12 tỷ tham số hoạt động và hỗ trợ các kỹ thuật tối ưu hóa nâng cao như giải mã suy đoán (speculative decoding), tái sử dụng ngữ cảnh và lượng tử hóa NVFP4. Thêm vào đó, mô hình Bolt 74B-A9B nén tổng số 74 tỷ tham số xuống còn 24GB bằng cách sử dụng lượng tử hóa 2-bit gốc để triển khai cục bộ.
## KIẾN THỨC NỀN
Kiến trúc hỗn hợp chuyên gia (MoE) là một mô hình mạng thần kinh trong đó chỉ một tập hợp con các đường dẫn hoặc 'chuyên gia' được kích hoạt cho mỗi đầu vào nhất định, cho phép đạt năng lực mô hình lớn trong khi vẫn duy trì tính toán hiệu quả. NVIDIA NeMo là một framework toàn diện được các nhà phát triển sử dụng để xây dựng, tùy chỉnh và huấn luyện AI đàm thoại và các mô hình học máy nâng cao.